一路上與不少饑民為伍，饑民們大多來自東溪鄉至麻溪一帶，都是被這支分道進剿的官軍禍害，淪落到了家破人亡的地步。桑老丈聽饑民們談及，這支官軍的將首名叫蟲達，所過之處燒殺搶掠，殺良冒功，雞犬不留。桑老丈記下了這個名字，桑榆也記下了這個名字，後來聽說蟲達因為這次進剿殺賊眾多，論功行賞，竟受到皇帝召見，還被封為了大官。
蟲達是如何「殺賊立功」的，桑老丈比誰都清楚，可他清楚又有什麼用？他需要儘快找到落腳之處，儘可能地照顧好年幼的桑榆。他牢記著桑家待他的恩德，在一處破廟宿夜時，他懷抱著滿臉淚痕好不容易才睡著的桑榆，對著殘破的佛像暗暗發誓，無論如何要將桑榆撫養長大，以報答桑家的大恩大德。他帶著桑榆一路流亡，最終來到了還算太平的建陽縣。桑老丈早年學過木工活，後來在桑家做了僕人，這門手藝便擱下了，沒想到年老之後，靠著重拾這門手藝，先是給別的木匠打下手，後來自己攬活掙錢，好歹在建陽縣立住了腳。桑榆漸漸長大，變得越來越懂事，她知道桑老丈年事已高，於是洗衣做飯，攬下所有能做的家務，閒暇時還幫著桑老丈做一些簡單的木工活，兩人以父女的名義相依為命，在建陽縣過了幾年還算安穩的日子。只是自從被桑老丈捂住嘴不能出聲、目睹父母和哥哥慘死之後，桑榆便不再說話了。從前她很愛說話的，總是纏著桑老丈問這問那，嘰嘰喳喳地說個不停，然而經歷家破人亡的變故後，桑老丈再沒聽她出過一聲，說過一字，哪怕桑老丈攢錢請人教她識字，她也只是跟著點頭搖頭，從不做聲。桑榆平日裡當著桑老丈的面，臉上常常笑著，可是背著桑老丈時，臉上的笑容便會消失，變得鬱鬱寡歡。桑老丈看在眼中，常常擔心桑榆會想不開。他知道自己老了，沒多少年可活，等他一死，這世上便沒人照顧桑榆了。他趁著自己還有力氣，拼了命地雕刻木作，到處挑擔售賣，一來讓桑榆跟著四處走動，也好散散心；二來多賣些錢，好給桑榆置辦嫁妝，將來為桑榆找個好夫家。這樣他才能死得安心，將來去陰曹地府見了桑家人，才能有個交代。
今年桑老丈帶著桑榆來到臨安售賣木作，這是他們二人初次踏足京城。京城的繁華熱鬧，遠遠超乎桑榆的想像，尤其到了夜裡，燈市如晝，人流如織，寶馬雕車，芳香滿路，她畢竟只有十六七歲，置身其間，只覺目不暇接，這個年紀該有的天真爛漫，第一次出現在了她的身上。然而好景不長，桑老丈染病臥床，桑榆為之憂心，後來宋慈和劉克莊請來劉太丞為桑老丈看病。這本是好事，然而桑老丈一見劉太丞，立刻想起了十年前桑家家破人亡時，那個隨亂兵進入桑家劫掠的劉二。當年透過閣樓的壁板接縫，他清清楚楚地看見了劉二的長相，這些年來從未淡忘過分毫。劉太丞與當年的劉二長得一模一樣，只是多了幾許鬢白和皺紋，再加上他記得當年有亂兵說劉二是郎中，這使得他更加確認無疑。
時隔十年，想不到當年參與劫掠桑家的仇人竟會出現在眼前，桑老丈雖躺在病榻之上接受劉鵲的診治，卻在那時暗下決心要殺了劉鵲，為桑家枉死之人報仇。待病情稍好一些，他讓桑榆做了一些糕點，送去劉太丞家，以感謝劉太丞的救治之恩，於是他在桑榆做糕點時，偷偷將砒霜下在了裡面。他知道劉鵲吃過糕點後必死無疑，打算即刻離開臨安，這才連夜收拾好行李和貨物，轉天一早雇好牛車，帶著桑榆一起離開，卻不料在清波門被武偃追上，隨後被帶到提刑司，關入了大獄。