在廬山風景區楊洪森悠然只得地寫著書，將所有的困難問題交給了孫中山去處理，而他卻在背後煽風點火。對於一些國民黨人來說，楊洪森的離去給他們大展拳腳的機會。可是楊洪森的離開並沒有讓反對派的雙肩輕鬆下來。國民黨黨內矛盾開始加劇，為了確立“三民主義”思想的正統地位，兩派展開了激烈的論戰，這種理論上的爭執很久以前就發生過。孫中山擔心這種爭論將會導致國民黨再次分裂，這種事情發生過，而且還不止一次的發生過。而更加嚴重的事情還在後面。
孫中山缺乏楊洪森雷霆手段，無法有效的壓制黨內矛盾，而他的那些手下都比較滑頭，不願意開罪任何一方。楊洪森雖辭去了總理一職，但其在國內仍然有空前的影響力，那些楊洪森在國會代理人對黨內的反對派進行彈劾，更可有人對孫中山總統提出了不信任案。
實際上沒有什麼事比醜聞更加嚴重的了，林森並不準備對內閣進行調整，但作為利益的交換，他責令部分內閣成員辭職，原本他只是打算進行小的調整，結果導致了整個內閣班子的集體辭職，這是一件非常嚴重的事情，最後孫中山出面下這種尖銳的矛盾才有所緩和。在南方度假的楊洪森也為此從廬山上下來了。
“我們不能因認識上差異而葬送國家的前途，我們不能將個人凌駕於國家之上。”
楊洪森在南京籌建了“藍調俱樂部”，很多國會議員、社會知名人士以及工商界精英紛紛加入。不管是在南京的群眾性集，還是在上海的演講中，楊洪森在經濟、政治、外交等方面都提出了與孫中山截然相反的意見。
孫中山班子內的越來越多政治醜聞被挖掘了出來，貪污、收賄與日本工商人士的不正當接觸。甚至孫中山本人也被牽涉期間。上海的八卦外報拍攝到了孫中山日本妻子及子女的照片，外電稱孫中山的子女正在接受日本友人的照顧，而這位日本友人卻有深厚的官方背景。
楊洪森首先站出來指責該份報紙為求銷路而進行的不實報告，孫中山的支持者們也否認此事，但是孫中山對此事未發表任何意見。
照片上的日本女子與孫中山成為了各方猜測的焦點。
中國人是十分八卦的，更何況是一國的元首的花邊新聞。如果說到生活作風，其時楊洪森的私生活也不見得乾淨多少。楊洪森的優勢在於龐大的資金作為後盾，對於自己的收入情況，楊洪森本不需要做過我的解釋，但是其仍然接受了《申報》採訪。
楊洪森在美有多家上市公司，在國內他壟斷著鋼鐵、石油、煤炭、紡織、有色金屬、冶金、電力、醫藥、菸草等多個行業。當然這一切都不是重點，重點是楊洪森19至22年期間，以“仁愛”基金會的名義共捐資創辦了6所大學、近200所中學，2200餘所小學。在上海、南京、武漢、廣州、北京、等重要城市創辦了現代化的醫院和免費開放的圖書館。他還分別為傷殘、退役軍人以及孤兒設立了基金會。《申報》的報導只是楊洪森從事公益事業，奉獻社會的一小部分。像楊洪森這些有偉大的“情操”的政治人物，怎麼會貪圖那點小錢呢？