伊稚斜是瞧不起自己的兄長軍臣的，當年老上單于在的時候，一直在全力壓制漢朝的崛起，結果輪到軍臣，光顧著鞏固自己的權威，因為一點利益，就跟漢人那邊私底下勾搭不清，然後呢，眼睛裡就都是西域那邊的財富。
西域那邊的財富再多，但是長遠來看，如果放縱漢人崛起，那麼，西域的財富對匈奴來說，不光不是什麼好事，反而是燙手的山芋，匈奴人只會逼著那些西域小國跟漢人聯合起來，對付匈奴。現在二者之間隔著個匈奴，互相之間不能溝通，但是，伊稚斜可是曾經抓到過好幾支西域前往漢朝的商隊還有使臣，有的是想要跟漢人做生意的，更多的是，不知道從什麼地方聽說了漢人的強大，想要找漢人求援的！
伊稚斜覺得軍臣目光短淺，自己才是更加合格的大單于，可以帶領匈奴走向正確光明的道路。
可惜的是，軍臣如今並沒有經歷太大的失敗，所以，在匈奴各個部族之中，還是威望很高的。但是等到軍臣在漢人那裡真正栽了跟頭，那麼，伊稚斜就有把握聯絡更多的匈奴部族，效仿當年冒頓單于之事，將軍臣從他的位置上掀下來，讓軍臣去向著天神謝罪，而伊稚斜呢，將會成為比冒頓，比他的父親老上單于更加偉大的大單于。
匈奴人那邊的勾心鬥角，漢人這邊暫時不知道，幕南那邊之前就搖擺不定的許多部族如今已經快要吃不消了，因為軍臣派過來的幾個部族，在漠北，西方那邊都不是什麼省油的燈，幕南之前受到了漢人的嚴重打擊，自己都沒有多少物資過冬了，偏偏新來的部族，壓根沒攜帶多少存量，還帶了許多牲畜，占領了最大最好的草場，然後，就是威逼著幕南的那些部族供奉牲畜奶酪肉乾乃至奴隸。
那些大部族還好，他們本來在王廷那邊也具備一定的影響力，不能對他們逼迫太過，但是那些小部族就遭了殃，差點沒將自個的肉都得割下來供奉給那些北方和西方來的部族了，一個個簡直是怨聲載道，因為，他們真要是按照上頭的要求準備好供奉，別說是底層的牧民了，就算是頂層的貴族，也要過不下去了。
既然在草原上過不下去了，那麼，對於匈奴人來說，他們還有一個選擇，那就是歸義。
幾個小部族的首領偷偷摸摸湊在一塊兒商議了一番，然後呢，聯絡上了幾個經常跟他們做生意的走私商人，表示自家想要歸義，希望有人在長城那邊接應。
消息很快就傳到了長安，這種事情其實在漢匈邊境上頭很常見，一些犯了事，或者是因為別的一些緣故，在國內混不下去的人會偷偷摸摸溜出長城，投奔那些匈奴人，橫豎隨著漢室的崛起，漢人，尤其是出身不低，還有著一定知識和技能的漢人，在匈奴人那裡，也是很受歡迎的，不會被當做奴僕，而是會當做客卿一樣對待。