二人並存英氣，立節慷慨，見中原多故，每每中宵起坐，相謂曰：“若四海鼎沸，豪傑崛起，當與足下相避於中原耳!”因北地亂，同游洛陽，琨西鎮並土，逖在朝，以京師大亂，乃率兄弟子侄並親族百餘人，徙避江南，至是瑯琊王辟任重鎮。
王導有事常與逖議言，多中的。
一日，瑯琊與導嘆論曰：“晉室不幸，金甌被損，西川失守，山右遭估，河西阻隔，遼薊絕貢，幽冀代地皆懷不仁之心。
關中關外，屢罹漢寇之擾，中原如此鼎沸，洛陽何以自安?”祖逖聞言，乃進言曰：“晉室之亂，非下叛上致生釁隙，以絕貢賦，實由上失捍禦之道，自相征伐，俾令兵疲於內;蜀漢竊據，勿能征剿，諸鎮效尤於外，備歉邊防，毒流中土。
今遺民酷遭殘害，孰不思得家室自安?大王誠能命將出師，使如臣赤心者數輩，共復中原州郡，豪傑必有望風響應者矣。
詎知中興不在此時者乎?”睿曰：“孤因家國多難，不能克復，徒有拳拳之心，恨力不及，頓為抑鬱耳。
今聞卿言，茅塞盡開，令人注意中原切心宗社矣。
”即拜祖逖為奮威大將軍、三道刺史，出鎮豫州，付糧千石，布三千匹，令逖自募英勇，渡北鎮守，以備進復諸州。
逖拜命而出，不數日募得精卒三千人，乃渡江北上，至中流擊楫而誓曰：“祖逖不能廓清中原而復州郡，即如此江之波，不復還轉。
”其辭色壯烈，人皆慷慨踴躍。
至淮陰，治陶冶，造器具，制甲仗，復招得二千餘人，遂進屯豫州，視農閱武，恤苦安民，人甚樂從，寇盜不征而化者數處，盡皆願充兵役效力。
於是北至衛鄴，南盡黃河，州郡將吏皆服使令，輸納貢賦。
瑯琊王聞知，大喜曰：“吾不知祖士雅有能如是，真中原英物也。
”又加鎮北大將軍敕一道，自此威名廣播，胡馬遠避，不敢入其境。
并州刺史劉琨聞知祖逖一旦驟然為鎮北大將軍，刺豫州，兼管六郡，乃以書遺其親故曰：“吾常枕戈待旦，志梟逆虜，惟恐祖生先我著鞭也。
”時安東將軍周浚之子名顗字伯仁，譙國桓彝字茂倫，皆性質明敏，通覽博涉，早獲盛名，因見胡塵犯闕，避徙江東，雖承紀瞻之薦，未即出應。
及見瑯琊王重任祖逖，知其有為，乃同至建康應召。