當夜，異人假借華陽夫人翌日要見呂不韋，需要教授恩師一些覲見禮儀為藉口，同呂不韋見了一面。一聽到異人向他複述的華陽夫人的話語，呂不韋便攢眉沉思，片刻後才道：「夫人和小公子還是暫且先不要接到咸陽了。」
「這怎麼行？」異人表示反對，「我們留給他們的財物並不多，應急可以，長期待在那兒定是要被人欺負的。」
當初呂不韋和異人分開行走，呂不韋走了較難的那條路，異人卻是一路南下直抵呂不韋的老巢衛國濮陽。在那裡他們裝模作樣地停留了一日，然後快速更換車架衣裳，又拿了旁人的路引離開衛國入魏。
衛國本就是魏國的附屬國，亦是國內之國，持有衛國國籍者入魏非常容易，幾乎不需要進行盤查。如此，異人便帶著妻子以及輜重在衛國幾個力士一路護送下趕赴雙方約定地點。
然而在抵達韓魏交界處的時候他們遇到了一夥流匪，雖是勉強保住了性命，財物卻被搶走大半，力士亦是死傷泰半。異人乾脆將剩下的財物分成了若干份交給幾個因保護他們而受傷的力士，請他們代為下葬殞命者，並將那幾人就地解散，自己親自為妻子駕車。
而等到過韓、秦邊境時，異人這邊再一次破財了。
此時正逢韓、秦兩國邊境線重新劃分後不久，邊境的管理還算不上嚴密。彼時，異人並沒有辦法確認趙國的追緝是否已經抵達這裡，保險起見，異人用這輛馬車為代價，請當地人幫忙給他們帶了近路，繞過了韓國兵士的城防。
就結果來說，這不是一個正確的決定。但對於當時的異人來說無疑是正確的。只是不得不提的是，異人夫婦在抵達野王城的時候幾乎已經身無分文——異人全身上下最值錢的就是代表他身份的那方印，除此之外就是他兒子襁褓裡頭藏著的幾片被壓成薄片的金子。
金子無論到哪兒都是硬通貨，但這東西不好出手，不到萬不得已絕不會用，這也是呂不韋離開前給他們準備的。
因此，當呂不韋一行人抵達時見到的就是明明財物比他們準備得更充裕卻極其狼狽的夫妻倆。
呂不韋和異人在當地客棧休息了一夜便策馬西去，把剩下的事務都交由呂夫人打理。異人不太清楚呂不韋留給了呂夫人多少東西，但以己度人，他覺得不會很多。
又聽呂不韋說暫時不把人接過來，就想著要送東西過去，問題是異人自己也沒有財產，呂不韋倒是有，但自己的老婆孩子讓別人養著算是怎麼回事？
異人有些懊惱，哪知道他正打算對呂不韋說些什麼的時候，卻看到了呂不韋面上古怪的表情。