华堂今日绮筵开，谁召分司御史来。忽发狂言惊满座，三重粉面一时回。
咏完诗，杜牧当即告别，准备骑马而去。李尚书见小牧把话说到这种程度，也不好意思拒绝这个大才子，于是就把紫云赠给了他。紫云临行前也献诗一首曰：“从来学得斐然词，不料霜台御史知。愁见便教随命去，恋恩肠断出门时。”表面上对李尚书恋恋不舍，心底里甭提有多高兴。
在洛阳，这种放任不羁的生活没有持续太长时间。他的弟弟杜顗得了眼疾，据说是白内障，寄居在扬州禅智寺。杜牧请长假前去探望与照顾，在禅智寺住了很长时间。看他这首《题扬州禅智寺》：
雨过一蝉噪，飘萧松桂秋。青苔满阶砌，白鸟故迟留。暮霭生深树，斜阳下小楼。谁知竹西路，歌吹是扬州。
这时他心中颇有些“冠盖满京华，斯人独憔悴”的味道。在繁华喧闹的市井扬州，也能滋生这样寂寞，可见实在是落寞之至。唐代对官员的管理还是很严格的，按照规定，“职事官假满百日，即合停解”，也就是说，官员最多只能请一百天的事假，否则就算自动离职。也许是对京都的生活有些失望吧，也许是想离开那个风暴中心，也许生病的弟弟确实需要他全力照顾，他趁机留在了江南。看来，他对扬州的感情不是一般的浓厚。看看张祜的《纵游淮南》，就可以明了杜牧为什么要抛弃监察御史的职务：
十里长街市井连，月明桥上看神仙。人生只合扬州死，禅智山光好墓田。
小杜的确是张祜的知音。当年张祜与徐凝争夺解头的名额，把自己最出色的诗句拿出来比试，徐凝的“万古常如白练飞，一条界破青山色”得到了杭州太守白居易的好评，张祜铩羽而归。杜牧得知比试的结果，很为张祜不平，写诗称赞张祜高风亮节：“谁人得似张公子，千首诗轻万户侯。”还肯定他的诗歌飘逸出尘：“如何‘故国三千里’，虚唱歌辞满六宫。”晚唐的重要诗人郑谷公开宣称：“张生‘故国三千里’，知者惟应杜紫微。”
这里的杜紫微就是杜牧。唐代的中书省又称紫微省，杜牧曾做过中书舍人，当然这已经是晚年的事情了。禅智山的风光虽好，是个“好墓田”，但杜牧此时还年轻，三十五岁的他还担负着养家糊口的重任，所以就近出仕，带着生病的弟弟到宣州任团练判官。八年前，他曾随沈传师在宣州任职，如今故地重游，风景依然如画，无奈年华已逝，老朋友也散落他乡，心中感慨颇多，如《题宣州开元寺水阁阁下宛溪夹溪居人》所云：
十一、杜牧(6)