他們既然要搞掉內閣那幫子人，那些熱血軍人就一定要保下來。正是在軍部大佬們的暗中扶持下，1931年3月12日，東京發生兵變，當天有2000餘名軍人參與行動，次日13號，又有500餘退役軍人加入，稍後有3000餘名平民也加入了兵變，這使參加兵變的人數達到6000人。
此次兵變的口號就是“尊王”，他們準備殺光內閣，將權利還給天皇。
12日夜，軍人們闖入那些居住在東京的內閣成員的住所，除了一些事前收到消息的高官，很多內閣成員或家眷受到傷害。
在3月12日兵變發生前，內閣方面就已經得到了消息，軍方上下不合作的態度，使他們只能看著兵變的發生。軍方也早有準備，雖然這次兵變的口號是“尊王”，但是策劃者可不希望這些叛亂者真的衝到皇宮將天皇抬出來，為此守備皇宮外軍隊不但被加強，而且還得到了重武器裝備。
13號，兵變發生的次日，內閣召開緊急會議，軍方人士趁機發難，要求內閣對於這種發生東京的惡劣事件承擔責任，也就是切腹。
如果這樣就要切腹，那些軍方人士在朝鮮問題上都要被切幾回了。
內閣既然沒有辦法，軍方便順勢搶過權柄，一方面他們組織人力對國內兵變進行鎮壓，另一方面加強對內閣的控制，與此同時，駐朝鮮日本軍隊正式向中國提出停戰，挑起朝鮮事端，並且華麗敗北的關東軍所屬各部回到了日本，接著大批的部隊在海軍的策應下主動撤出朝鮮。
日本駐華領使與中國方面頻繁接觸，楊洪森準備接受談判。在日本停止對抗後，楊洪森要求一線部隊鞏固占領區，所有作戰部隊轉入休整。
撤出朝鮮讓日本軍雖方感到不爽，但卻是沒有辦法的事，他們不主張撤出朝鮮，內閣的也會要求軍隊撤出朝鮮，不同的是內閣有可能會接受中方的無條件投降意見，但現在卻是主動撤出，只要將陸軍撤出朝鮮那麼這場戰爭的勝負就不是中方可以決定了。
日本方面撤退的速度並不快，不過先期有近10萬軍人分乘各種船隻回到本土。
在撤離的過程中，日本情報制定了一系列的潛伏計劃，同時將占領區能帶走的東西全都帶回日本，不能帶走的如建築物等全數破壞。
軍方開始對東京兵變的軍隊進行鎮壓，為此軍方還動用了駐紮在本土的裝甲部隊和空軍。