大家背地裡都說楊左使變了，什麼地方變了也說不出來，總之就是和以前不一樣了。他表面上雖然還是那副冷冷淡淡的模樣，背地裡卻好像柔軟了不少，但是卻比以前更沉默了，如果不是和女兒說話，或者不是有事要布置給大家，他就常常在房間裡一待一整天，有時候去後山，也能在崖邊坐一整天。他從前是那麼風流瀟灑的一個人，而現在，卻始終是滿腹心事的樣子，像是一下子老了不少，模樣憔悴了，心也老了，那些風花雪月詩酒趁年華的事再也不幹了，平時問的做的都和女兒有關，閒暇時間也只是讀書和發呆。
彼時江湖上漸漸地也有些流言傳出來了，說峨眉派死了個弟子，是金鞭紀家的女兒，好像是被楊逍先奸後殺的，這些話楊逍不是沒聽見，但他只作充耳不聞，手下人聽見別人議論，要替他出頭，都被他攔下來了，他想，自己背點惡名不算什麼，曉芙都走了，總要清清白白的，怎麼能讓她再背著離經叛道的議論去了呢，他自己一力承擔下來，不過是再跟峨眉多層恩怨，被江湖上的人罵幾句而已。
教中眾人對楊不悔的出現都曾經詫異過，卻沒有誰敢開口詢問，聽見那些閒言碎語，又覺得好不奇怪，如果真如眾人口中所說的那樣，不悔的母親為何又要托人把她給送過來呢。好在她母親從不曾真正出現過，他們就也不必去困惑該如何與她相處了。只有賽克里在楊逍把不悔托給他保護後，偶爾會因為不悔的需要提起曉芙。“小姐哭鬧個不停，一直吵著想要夫人。”，“小姐說想去一趟蝴蝶谷，祭拜一下左使夫人。”，他記得那年在桐城郊外莊子裡初見那女孩時，她穿著男裝，可是一眼就被他認出來了，當他發現楊左使在聽到她要走時微微蹙了眉，當他後來知道她為了保護楊左使受了重傷時，他就知道楊左使一生也不可能從她這裡逃出去了，只是他沒想到後面的事情會是這樣。打楊逍帶曉芙去大都以後，他一直都在等待著他的命令，他想終有一天，楊左使會帶著和往常一樣的冷漠吩咐他們，去準備紅色的綢緞，去找做嫁衣的裁縫來，那時他們就有個俊美的左使夫人了，他知道楊逍心裡一定也是這麼希望的。他們在光明頂坐忘峰上的生活，其實都很清苦，天地越是廣闊，人就越感到孤獨，楊左使若是娶個夫人回來，倒能使他們的生活煥然一新，說不定那女孩子還能帶兩個漂亮的婢女來，到時候他就去求夫人做個媒。賽克里想著，自己從前的那些期盼，終究也落了空，不過於他只是半分失望的事，於楊左使，就不知道是怎樣的撕心裂肺了。