这样让人眼热的位置，看来诗人不太可能主动去抛弃，那么究竟是什么原因迫使李太白安然离开长安呢？诗人暗示自己是遭到小人的嫉妒与诋毁，所谓“君王虽爱娥眉好，无奈宫中妒杀人”（《玉壶吟》），所谓“白璧竟何辜，青蝇遂成冤”（《书情赠蔡舍人雄》）。李白的辩解我们应该相信吗？今天许多专家都摇头对李白的政治能力表示怀疑，不过前人大多深信不疑，他们甚至还找出了罪魁祸首，那就是高力士或张垍。
《松窗杂录》说，遭受脱靴之辱的高力士，对杨贵妃挑拨说李白的《清平调三首》把她比作赵飞燕，实际上是含沙射影——其实我们也不能责怪高力士，后来许多李白的拥趸者也拿这三首来证明诗人有先见之明，早已预见到杨太真会给盛世带来毁灭性的打击。贵妃娘娘大怒，李太白就在朝中失去了立足之地。
魏颢在《李翰林集序》中说，唐玄宗皇帝曾经想重用李太白，答应让他做中书舍人。但玄宗的女婿张垍嫉妒李白的文采，加以谗毁，使皇上丧失了对诗人的信任。刘全白在《李君碣记》中则认为中伤诗人的是李白的同僚，即翰林院的那些竞争者。而刘全白总结说，玄宗皇帝认为这样一个喜欢喝酒的人留在身边太危险，说不定什么时候酒劲一上来就把宫中那些不能对外人说的事给泄漏出来了。刘全白的原话是“玄宗甚爱其才，或虑乘醉出入省中，不能不言温室树，恐掇后患，惜而遂之”。什么是温室树？《汉书》记载，有位官员名叫孔光，经常出入宫掖，人们向他打听长乐宫温室殿旁种的是什么树，但此公十分谨慎，以国家机密为由拒绝回答。刘全白认为，玄宗虽然看重李白的才能，但也意识到这位嗜酒的诗人无法从事保密性强的工作，不用说皇宫的树，甚至连皇上的私生活都可能会一五一十地告诉别人。为了减少自己的绯闻，也为了诗人的安全，皇上唯有忍痛割爱，将李太白放归南山。
二、李白(13)
总之，在李太白人生的第二个阶段中，即待诏翰林期间，他留给世人最深的印象还是嗜酒狂饮，皇上每次召见他的时候，同僚每次遇见他的时候，权贵每次宴请他的时候，甚至我们这些后人考证他在长安的生活的时候，诗人总是沉醉在酒的世界中。当然，他也为此付出了沉重的代价，丢掉了一份极为荣耀的体面工作。说到工作，李白似乎总是在饮酒，没见到他处理具体事务，两年的时间内唯一的政绩似乎就是“草答蕃书”，但就是这一政绩也遭到了后人的质疑，觉得可信度不高。后来明代小说家冯梦龙先生在编纂《警世通言》的时候，把这个政绩改编成《李谪仙醉草吓蛮书》，看来即使这件政绩，依然是在醉意朦胧的时候完成的。或许，李太白“醉圣”的名号就是这样闯出来的，《开元天宝轶事》说：