”就下令把使者送来的礼物都留下，邀请他观看自己的就职仪式，秃发乌孤自称大单于兼西平王，历史上把这个国家称为南凉。不久，刚当上南凉君主的秃发乌孤就发兵进攻后凉。
吕光一听象秃发部这样的蕞尔小邦竟然敢造反，不禁大怒，马上派大军征讨，结果在街亭被南凉军打个大败。南凉军迅速跟进占领了金城。后凉听说西北地区又来了个新的竞争者，边境城市纷纷倒戈。南凉很快就得到了乐都、湟河、浇河三郡。不久，秃发乌孤下令迁都到乐都，深入到西秦和后凉中间，互成犄角对顶。不久秃发乌孤作战中马倒摔死，弟弟秃发利鹿孤继位，南凉遂成为后凉的劲敌。
南凉的反叛尚未平息，紧接着又蹦出来个北凉。匈奴部落首领沮渠罗仇跟吕光讨伐西秦时担任后凉军中武将，吕延战死后心地多疑的吕光为了泄火，把战败的责任推卸给沮渠罗仇，认为是他面相不好将其杀死。导致沮渠罗仇儿子沮渠蒙逊的造反。
沮渠蒙逊这个人从小就狡猾擅变，而且上知天文下知地理。吕光认为他是个人才，沮渠蒙逊听说后，知道吕光认为是人才的人一般活不长，就成天酗酒骂街迷惑吕光。沮渠罗仇的追悼会来了一万多人，有不少后凉的便衣和官兵，防止匈奴人借机闹事。追悼会上沮渠蒙逊也来了，别人认为沮渠蒙逊是个酒鬼，都看不起他，不料他突然站出来大哭道：“我父亲对吕王忠心不二，岂料吕王老年昏聩，荒虐无道，遭到无辜杀害。怎么能不去继承他的遗志，让父亲安心而去呢？”