虽然处境得到了改观，但刘琨的日子依然捉襟见肘，其处境可以用四面受敌来形容。晋阳南面是强大的匈奴汉国政权，匈奴骑兵昼夜虎视眈眈；北面是正在崛起的拓跋鲜卑部落，急欲扩大自己的活动范围；东面是依仗段部鲜卑支持的西晋幽州刺史王浚，这个家伙藏着老地主的心思，对任何地盘都有野心。四周强敌环伺，刘琨的统治仅局限于晋阳及其附近，战略回旋余地狭窄，兵力严重不足。

在夹缝中生存，努力的接受着雨露阳光，早一天成长为参天大树。但是暴风雨总会来临，不久，刘琨的麻烦事就来了。看到并州的晋军势力茁壮成长，威胁到都城的安全。西晋永嘉二年(公元308年)四月，刘渊派安东大将军石勒攻取巨鹿(今河北宁晋县南)、常山(今河北正定西)，随即对冀州(今河北冀县)展开攻击，连克郡县坞堡百余个，石勒的小弟增至十余万。不久，刘渊诏令石勒为前锋，命征东大将军王弥与楚王刘聪会攻壶关(今山西长治东)，企图一举夺取并州。

大战降临，并州的形势顿时紧张。刘琨根本没有退路，唯有拿出了血本下注，派遣部将韩述、黄肃分兵两路阻击进犯的匈奴汉军，企图将敌人拒之于国门之外。但战斗的发展没有按照他的意图实现，头一炮就炸膛了。汉国楚王刘聪在西涧(今山西长治西)击败韩述的大军，晋军伤亡殆尽，主将英勇殉国；安东大将军石勒破晋军于封田(今山西长治西北)，黄肃死战殉国，晋军失去了领导指挥，尽皆溃散。上党太守庞淳在失去了救援之后，自知守城无望，心中那一份恐惧压抑不住，以壶关为礼物投降了汉军。

军队的失败，部将的背叛，让本钱不多的刘琨雪上加霜，但他没有被失败吓倒，依然期待着明日的雄起。在此生死存亡之际，他任命小弟张倚继任上党太守，据守襄垣(今山西襄垣北)，吸引匈奴汉军主力。然后调动大将赵拟、李茂等人率主力增援，三支部队会和后，集中全部力量夜袭匈奴汉军的大本营。

楚王刘聪向来轻视西晋朝廷，看不起西晋军队，认为是一群笨蛋指挥的更大的一群懦夫。轻敌向来是失败的前兆，正在为胜利狂欢的匈奴汉军军心涣散，正在营地开怀畅饮，没想到晋军杀了一个回马枪。受到了突然而迅猛的打击，匈奴汉军当时人心大乱，军无战心，丢掉辎重逃窜。张倚等人挥动大军乘胜追击，俘获大量的军械物资。晋军人心大振，迅速扩大战果，但因为匈奴汉军凭险坚守，晋军没有夺回壶关。

壶关是战略要地，虽然匈奴汉军退出了并州，但壶关一失，相当于打开了一扇门，匈奴汉军随时可以进入并州。这一场大战，看似平分秋色，实际上，刘琨在战略上已经输了。

由于匈奴汉国刘渊势力日益强大，曾经首鼠两端的匈奴右贤王刘虎和白部鲜卑公开站在了刘渊一边，致使晋阳陷于腹背受敌的困境。西晋永嘉四年(公元310年)十月，刘琨决定发兵讨伐刘虎和白部鲜卑，解除两面作战的窘境。这是一个大工程，自己无力投标，必须找一个有实力的老板加盟。刘琨请求一直忠于西晋朝廷的鲜卑拓跋部大首领拓跋猗卢出兵增援。

拓跋猗卢是历史上著名的沙漠汗的后人，对西晋朝廷在骨子里就有好感，闻讯后欣然答应帮忙，命其侄子拓跋郁律率二万骑兵前往援助。

有了强大的后援，在军事上占据了绝对的优势。刘琨放下心来施展拳脚，率军与鲜卑骑兵共同进攻刘虎和白部鲜卑，“大破之，屠其营寨。”

所谓请神容易送神难，世界上没有免费的午餐。刘琨捧上了烫手的热山芋，因为拓跋猗卢要工钱了。拓跋鲜卑刚刚走出荒蛮的大山，急需一块水草丰美的土地。刘琨让鲜卑拓跋部看到了外面的世界很精彩，拓跋猗卢希望朝廷能够准许他的部落能够留在北地发展。

刘琨并不反感拓跋猗卢的贪婪，因为打工仔也是要养家糊口的，再说，他也希望拓跋部成为自己的后台，缓急之间有个照应。因此，刘琨与拓跋猗卢结为兄弟之盟，并表请朝廷加封拓跋猗卢为大单于，以代郡封之为代公。