軍事委員會和央行方面拒絕對“黑帳戶”進行審查。
國內、外記者都將焦點放在了楊洪森身上，他們等待著這位亞洲第一富豪，國民政府總理的回應。
楊洪森否認“黑帳戶”的存在。
對於國會調查“黑帳戶”楊洪森極為惹火，孫中山的傾向於建立專門的資金管理委員會，可楊洪森不想讓人知道“黑帳戶”的存在，有些資金的使用是不能公開的。
楊洪森感覺孫中山是在與他爭奪“黑帳戶”內資金的使用權。孫中山的確有這個意思，他目的是為了限制楊洪森對財政大權利的長期把持。最後，楊洪森做出了讓步，不過五人資金管理委員會被擴充到了七人。國會對“黑帳戶”進行了不公開審查。因為涉及到了國家機密，調查報告中的大部分內容就刪除，而該份報告也並沒有對外公布。
在公開場合孫中山與楊洪森的關係依然融洽，但是他們在很多問題上都產生了巨大的分歧。
兩個人走向分裂只是時間的問題。在黨內思想上的分裂導致了兩大陣營的形成，這種意識形態上的差距在孫、楊關係融洽時間被隱藏了起來，便當他們關係出現的裂痕，所有的人都能察覺到他們之間的微妙變化。國內反對派對楊洪森攻擊一波勝過一波，其攻擊的重點還是經濟問題。楊洪森的強硬路線在黨內遭到了批評，孫中山便是最大的反對者。這一些都迫使楊洪森在1923年退出內閣，他以身心疲憊為由向孫中山提出辭職，並推薦黨內元老林森擔任總理一職。日本人發現楊洪森辭職，將是一個很好的契機，所以他們向主動向國府靠攏。對他們而言和平的障礙消滅了。
楊洪森的辭職引起了全國不小的鬨動，提交辭職的當天，楊洪森就隨夫人宋美齡南下，在安慶停留了二個星期，主要會見當地的鄉紳和百姓，此後，乘船前往廬山休養。
宋美齡對孫中山在楊洪森辭職時未多次挽留極為不滿。
有些人準備將楊洪森從中國政界徹底的給清退出去，他們謀劃將楊洪森的那班文臣武將全給替換掉。但是林總理中規中矩，對內閣未做任何調整。楊洪森的退出使得孫中山輕易就取消了日本的戰爭賠償款，這是孫中山向日本的友好表示，日本方面也是投懷送抱。孫中山向日本主動示好，引起了軍方和朝鮮籍議員的不滿。