韩据听说援军损失殆尽的消息后，只好也弃城逃跑。这时候石勒又派遣轻骑兵从小路突袭晋阳城，刘琨最宠信的徐润献城投降。石勒的部队从晋阳和乐平两个方向包抄过来，刘琨的一万人马被夹在中间的一座小城里腹背受敌，形势非常危险。
当天是月圆之夜。匈奴骑兵的战刀映出一片白光。刘琨登上城楼，放声长啸，声音慷慨悲壮。匈奴骑兵听到了啸声都感慨万千，举起的战刀纷纷又放下，静静地在马背上聆听。
到了半夜，刘琨用匈奴人喜欢的胡笳吹起了悲伤的曲调，伴随着乐声，有人唱起匈奴部落的民歌。准备突击的匈奴骑兵听到了这忧伤的歌声，伴随着山中的狼嚎，勾起了战士对家乡的怀念，思乡的情绪很快在部队中蔓延，听到了来自故乡的歌曲，大家都不禁流下了眼泪。
第二天一早，包围刘琨的大军自动撤退，刘琨从容地率领残兵败将投奔幽州去了。
幽州段匹磾是鲜卑段氏的继任酋长。收留了刘琨后，对他十分器重，和刘琨结拜为兄弟，和一些小规模的反抗力量组成反汉联合军。但是段匹磾的手下认为刘琨威望过高，留在身边怕夺了段匹磾的位置，就向段匹磾进言，联合石勒把刘琨囚禁起来，准备秘密处死。
刘琨突然被捕，满腔悲愤无法诉说，写了一首《寄赠别驾卢谌》，慷慨悲昂，让人扼腕。
幄中有悬璧，本自荆山球。惟彼太公望，昔是渭滨叟。邓生何感激，千里来相求。白登幸曲逆，鸿门赖留侯。重耳凭五贤，小白相射钩。能隆二霸主，安问党与仇！中夜抚枕叹，想与数子游。吾衰久矣夫，何其不梦周？谁云圣达节，知命故无忧。宣尼悲获麟，西狩泣孔丘。功业未及建，夕阳忽西流。时哉不我与，去矣如云福朱实陨劲风，繁英落素秋。
狭路倾华盖，骇驷摧双辀。何意百炼刚，化为绕指柔。(最后这句很熟悉吧)刘琨死的时候四十八岁。由晋朝控制的北方反抗势力至此全部被荡平。
......