五老爺是個不擅長表達情感的，雖然他看似對幾個孩子都是「放羊吃草」的教養方式，其實心裡還是挺關心每個人的。加上侯瑞在五老爺心目中已經定型為一個不靠譜的形象，珊娘那裡選擇了相信侯瑞時，老爺則抱著懷疑的態度，於暗地裡悄悄注意著侯瑞的一舉一動。
一開始，侯瑞倒是依著和珊娘的約定，沒有主動去找那個賣花女。可架不住那賣花女惦記著他，總是主動來找他。侯瑞是個直爽的性情，便直接問著那女孩是不是被人養的「花兒」——他卻是不知道，「養花」的行當中有一個慣用的手法，便是在被目標發現身份後，那些「花兒」會坦然承認自己的身份，然後反過來裝著個柔弱模樣，處處向他展示著自己的卑微可憐，以及她那「出淤泥而不染的高潔」——此時侯瑞只是個才剛二十歲的大小伙子，又不像袁長卿從小就活在各種算計中，平常也不怎麼跟女孩子打交道的，被賣花女以那種充滿愛慕的、既卑微又熱烈的眼神瞅著，小伙子難免就有些飄飄然了，然後也就忘了珊娘的告誡。
就這一點來說，五老爺不信任他還是有些道理的。
五老爺也不是袁長卿那種謀定而後動的性情，他對侯瑞，其實很有些像前世珊娘對她兒子那樣，是嚴厲有餘而了解不足。發現侯瑞跟賣花女又「勾搭」上後，老爺立時動了火，把侯瑞拽過來，劈頭蓋臉就是一通臭罵。
侯瑞原就是個逆反心很重的孩子，被老爺這麼一教訓，他立時想起「賣花女」之前曾跟他說過的，那些有關世人對她們這些人的偏見和誤會，便和五老爺犟了起來，只說那行當雖然髒，女孩兒卻是乾淨的，她也不甘心做「花兒」，只是求告無門，想要借著他逃出「養花人」的魔爪而已。
五老爺哪裡肯信他的話，一心認定了侯瑞這是「色迷心竅」，於是又是一通蠻橫的打罵。
和當年珊娘那才十五歲的兒子不同，此時侯瑞到底已經成年了，被老爺罵急了，他反身就出了家門，乾脆住進了講武堂里。
這一下好了，倒更便於那賣花女下手了。
若是平常，不定五老爺就該去找珊娘商量對策了，可如今珊娘月份日足，老爺不想打擾於她，又覺得這是「家醜」，若告訴了袁長卿，倒叫珊娘在袁長卿的面前失了臉面，便沒找任何人商量，直接找上了那個「痦子男」，竟和當年珊娘一樣，想著拿錢買平安的主意——只這一點便看出，這果然是父女倆，想出來的主意都是一樣一樣的。
老爺又哪裡知道，「養花人」的這一單「生意」，並不只是單純的「賣花」。那「痦子男」收了錢財後，便假裝把賣花女「賣」去了別處，那賣花女半中間得以「逃脫」，便「投奔」了侯瑞。一番哭訴後，侯瑞自是以為五老爺生了歹意，要把那賣花女賣往見不得人的地方。
這一點，侯瑞則好於珊娘那個兒子。珊娘的兒子跟他爹一樣，平常想什麼都不會跟人說，侯瑞卻是個一根腸子直到底的，於是就跑回家去跟五老爺鬧了起來，直說五老爺這是「草菅人命」。五老爺哪裡肯認這個罪名，父子倆就這麼鬧了起來……偏那幾天四皇子那裡有些不尋常的動向，一時分了袁長卿的神。等處理完了正務，他得了空閒再回頭來準備料理侯瑞的事時，事情便已經是這樣了。