六朝文物草连空，天淡云闲今古同。鸟去鸟来山色里，人歌人哭水声中。深秋帘幕千家雨，落日楼台一笛风。惆怅无因见范蠡，参差烟树五湖东。
人生短暂，聚合无常，总令人伤感。不过，宣州是个人文荟萃之地，诗人辈出，他又找到了诗人赵嘏“赵依楼”，他的招牌诗句就是“残星几点雁横塞，长笛一声人依楼”。在宣州任职不到两年，他又高升了，重新回到京城，不久迁为膳部、比部员外郎。但此时当政的李党首领李德裕并不喜欢他，据推测是因为小杜与牛僧孺走得太近，而且小杜为人“刚直有奇节”——这是《新唐书》的评语。会昌二年（842）春，他被外放为黄州刺史，然后又迁池州与睦州，做了七年的父母官，这就是小杜所自嘲的“三守僻左，七换星霜”。这期间，小杜的官职虽然没有升迁，但七绝水平突飞猛进。
大中三年（849），杜牧三度回到长安任职，成为司勋员外郎、史馆修撰。就在这一年，晚唐诗坛上两颗巨星相碰撞，“小李”与“小杜”相逢了。作为后进之士的“小李”表达了自己的景仰之情，而已负盛名的“小杜”则不冷不热，这与“大杜”、“大李”的情况颇为类似。
因为京官工资不高，家庭负担过重，杜牧多次请求外任，三次上书宰相，终于当上了湖州刺史。至于十三年前在湖州定了那门亲事，专家说它并不可靠。他来到湖州任职，是为了更高的收入，而不为了是爱情，这样的真相颇让人泄气，与小杜风流倜傥的形象不相匹配。临别首都之际，他的心情很灰暗：
清时有味是无能，闲爱孤云静爱僧。 欲把一麾江海去，乐游原上望昭陵。（《将赴吴兴乐游原 》）
两年后，朝廷认为他是个人才，不应滞留在地方，又把他提拔为考功郎中、知制诰，次年又升为中书舍人。当时人们重京官而轻外任，削尖脑袋留在首都。而小杜一心想做地方官，看领导偏偏把他挽留在首都，人生失意之事，十之八九。
杜牧不愿到京城，据说还有一个十分重要的原因。《金华子》一书记载，杜牧曾经做过一个梦，梦里面神仙言之凿凿地说他最后的官位就是紫微郎。杜牧一当上中书舍人，果然重病缠身，他自知不久于人世，写好墓志铭，并把诗稿烧掉了绝大部分。他的外孙裴延翰所收藏的杜牧诗篇，比杜牧自己留存下来的都多上十分之七、八。李贺的诗篇被人扔进厕所，小杜的诗又被自己焚烧，看来，上天也嫉妒我们看到了太多的好唐诗。
林妹妹焚烧诗稿，是因为失望，是因为诗稿承载着她的情感与生命。杜牧为什么也要焚烧诗稿呢？杜牧曾经批评元稹、白居易写了太多了艳词俗句，认为这些艳体诗严重地败坏了社会风气。宋人刘克庄指责杜牧“风情不浅，青楼薄幸之句，街吏平安之报（即杜牧在扬州时保安人员的工作回报），未知去元、白几何”。可能杜牧也意识到了这个问题，为了给后世留下光辉形象，他有意识地毁掉了大量诗篇。他没有意识到，后人对这些艳词的兴趣远远超过他的《罪言》等庄言危论。