吴璘兄弟之后，吴曦父亲吴挺继任蜀帅。实际上，四川已经成为公认的吴氏家族的地盘，时人有“吴家军”之称，南宋朝廷为此深以为忌。
宋朝自太祖赵匡胤立国，一直以“以文制武”为国策，千方百计地防止武将拥兵自重。这一政策，确实保证了北宋朝廷一直没有大的内乱发生，但也直接导致军队战斗力低下，在对辽和西夏的战争中胜少负多。北宋灭亡到南宋初年，由于抗击金军的形势需要，武将权力急剧增长，并一度形成了张浚、韩世忠、岳飞等多个军事集团，宋高宗既要倚重这些人，内心又深为忌惮，以致后来局面一旦稳定，便采取措施削夺武将兵权。
岳飞之死，标志着武将拥兵自重的时代彻底结束。但唯独“吴家军”例外，随着宋金关系的变化，势力不衰反长，“夫吴氏当中兴危难之时，能百战以保蜀，传之四世，恩威益张，根本益固，蜀人知有吴氏而不知有朝廷”。
尤其是四川因为其独特的地理位置，具备经济上的独立性，吴氏坐大一方的局面，自然也不是中央朝廷所希望看到的。自淳熙年间开始，执政大臣如赵汝愚、留正等人先后向朝廷上书，要求采取措施抑制吴氏势力。
不过吴挺生性谨慎，“少起勋阀，弗居其贵，礼贤下士，虽遇小官吏，不敢怠忽。拊循将士，人人有恩”，他任蜀帅期间，尚没有与中央朝廷发生冲突，勉强相安无事。吴挺死的时候，吴曦正在和州任职。按常规的看法，他应该立即回四川继任蜀帅，接管其家族势力。但南宋朝廷却认为这是一个抑制吴氏势力的好机会，强行征召吴曦到京城临安任职。目的昭然，就是为了削弱吴氏在四川的势力，防止尾大不掉的局面。对于吴曦来说，瞬间失去了少主的地位和兵权，自然难以接受。他人虽在京城，但一直积极谋划，力图还蜀，重掌兵权，为此他不惜对执政大臣大行贿赂之事。刚好权臣韩侂胄有意北伐以提高个人威望，吴曦全力依附，并表示如果能够回到四川，一定出兵配合。韩侂胄为了自己的利益，也极力斡旋。吴曦最终被任命为兴州都统制，重新回到了四川，并掌握了川陕军主力。
尽管如愿以偿，但吴曦对一度失去兵权、困在临安看朝廷脸色的日子还是心有余悸，金章宗正是因为通过间谍了解到这一点，才适时地抛出了劝降信。