隆安元年（397年），司马德宗继位，史称晋安帝，是个白痴。时会稽王司马道子辅政，执掌朝政大权。仆射王国宝、建威将军王绪依附司马道子，参掌朝政。王国宝等劝说司马道子裁减方镇兵权，引起平北将军王恭、鹰扬将军殷仲堪等人不满。王恭、殷仲堪以清君侧、诛王国宝为名，联合举兵进*建康（今江苏南京）。王恭以刘牢之为府司马，领南彭城内史，加辅国将军。王恭使刘牢之讨破王廞，让刘牢之领晋陵太守之任。王恭本来就以才地陵物，等檄书发到京师，司马道子为求退兵，已杀王国宝、王绪。王恭自认为威德已着，虽仗刘牢之为爪牙，但以行阵武将对他相待，对他的礼遇很薄。刘牢之自负自己有出众作战才能，因此深怀耻恨。
刘牢之小时候比较有抱负（似乎所有后来成才的人，史书上都是这样记载的），他出身将门，骁勇善战，是个不怕死的人。刘牢之年轻时，参加了着名的北府军，开始谢玄任命其为参军。一年之后，秦军与晋军在盱眙（今江苏盱眙东北）大战一场。谢玄率晋军击败了前秦军的进攻，刘牢之也因攻被提升为鹰扬将军、广陵相。
中年时期在后来的淝水之战中，刘牢之亲率5000精兵。顶住压力，连夜突袭了驻洛涧（即洛河，今安徽淮南市东）的5万前秦军，并派军将秦军的退路切断，使前秦军腹背受敌，迅速崩溃。秦军虽然人数是晋军的十倍，但此时他们已经丧失了抵抗的意志，纷纷冲向争渡口渡水北逃。秦军大将梁成等10多名将领在乱军中被杀，五万秦军中，约有1.5万人被杀死。苻坚听说前军败退后，连忙吓的逃过了淝水。有如此的主将，秦军也难免一败了。在决战当天，刘牢之作为先锋首先冲过河，杀了秦军一个挫手不及。当秦军败退后，刘牢之又指挥部队连追了几十里，秦军大将苻融被杀，苻坚运气好，这才捡回一条命。
“淝水之战”后，东晋内部论功行赏，由于刘牢之的初战告捷对整个战争的胜利起了重大作用，谢安向皇帝推荐其为龙骧将军、彭城内史。第二年，刘牢之率军随同谢玄一起北伐，乘着北方大乱的机会接连收复了河南、山东、陕西南部等大片地区。不过刘牢之率军进至邺城时却碰见了麻烦，由于当时慕容垂和苻丕在邺城打的闹翻了天。刘牢之来后决定联合苻丕对付强大的慕容垂，刘牢之和苻丕商议，愿意用粮食换邺城。当时苻丕在邺城内被慕容垂围了一年多，胖子饿瘦，瘦子饿的只剩骨头。刘牢之既然拿粮食出来，苻丕当然愿意交换了。不过在交换的过程中却出现了一个问题，苻丕没有放弃邺城的意思，他拿了刘牢之的东西却没有给邺城，结果刘牢之可怜的吃了顿哑巴亏。无奈之下只好把怒火发在慕容垂身上，慕容垂深知北府兵的厉害，因此采用了先退后进的办法，大败北府军。这是北府军自组建以后的第一场大败，也是他们第一次碰到高水平的对手，结果一战就败，极大的打击了士兵们的士气。从此后近20年，北府兵也再没有北伐，直到刘裕时代才重新找回感觉。
刘牢之吃了大败仗后回到国内，基本无仗可打，后来由于暴发农民起义，他才又有了打仗的机会。他在镇压浙东农民起义军中又建了不少战功，但此时的东晋王朝的派系之争已经越来越明显了。兖、青州刺史王恭、骠骑大将军司马元显、荆州刺史桓玄等都想当老大，为了争夺朝权，他们都拼命的拉拢手握强兵的刘牢之。刘牢之想在他们三个人中间盘旋，想把三个人都哄好，结果却发现这根本就不可能。最后竟然把三个人都得罪了，无奈之下，刘牢之只好一个一个的讨好，最后终于因为自己的反复无常，被别人所疏远，没有人再愿意搭理他了。
东晋到了晋孝武帝初期，前秦苻坚一统北方，挟着强大兵力南下欲攻打东晋，刘牢之即是在此战之中崛起。根据晋书刘牢之列传记载：「太元初，谢玄北镇广陵，时苻坚方盛，玄多募劲勇，牢之与东海何谦、琅邪诸葛侃、乐安高衡、东平刘轨、西河田洛、晋陵孙无终等以骁猛应选。玄以牢之为参军，领精锐为前锋，百战百胜，号为「北府兵」，敌人畏之。」东晋当时由谢安掌政，面对北方强大的势力南下，谢安令谢玄在京口这个地方组织兵力，晋人谓京口为北府，刘牢之等人本是徐、兖二州之人，即今日江苏、河北、山东一代的人，由于北方动乱逐渐南下居于南方，经过土断之后，变成京口人，由于这里民风强悍，谢玄在此地组织北府兵，而北府兵也是东晋打胜淝水之战的军事基础。从列传、史料看来，刘牢之家族本是北方人，土断后定居京口，初期以骁勇猛壮投效北府兵而被命为参军，而他在北府兵中的表现是相当优秀的，北府兵也百战百胜，此时北府兵刚刚创立不久，刘牢之的表现优异，故刘牢之在北府兵和东晋朝中的地位是逐渐上升的，也逐渐崭露头角。初加入北府军团的刘牢之，表现优良，再来看刘牢之在淝水之战前后有哪些战功事业。根据晋书刘牢之列传记载：「及坚将句难难侵，玄率何谦等据之。牢之破难辎重于盱眙，获其运船，迁鹰扬将军、广陵相。」「时车骑将军桓冲击襄阳，宣城内史胡彬率众向寿阳，以为冲声援。牢之领卒二千，为彬后继。淮淝之役，苻坚遣其弟融及骁将张蚝攻陷寿阳，谢玄使彬与牢之距之。师次硖石，不敢进。坚将梁成又以二万人屯洛涧，玄遣牢之以精卒五千距之。去贼十里，成阻涧列阵。牢之率参军刘袭、诸葛求等直进渡水，临阵斩成及其弟云，又分兵断其归津。贼步骑崩溃，争赴淮水，杀获万余人，尽收其器械。坚寻亦大败，归长安，余党所在屯结。牢之进平谯城，使安丰太守戴宝戍之。迁龙骧将军、彭城内史，以功赐爵武冈县男，食邑五百户。牢之进屯鄄城，讨诸未服，河南城堡承风归顺者甚。」淝水战后时期淝水战后的刘牢之，根据其列传来分析，也可细分为两个小时期，再从这两个时期来看刘牢之的表现。
（一）救邺之战：刘牢之在淝水战后虽因战功地位大为提升，但是并非能一直保全地位下去。根据晋书刘牢之列传：「时苻坚子丕据邺，为慕容垂所*，请降，牢之引兵救之。垂闻军至，出新城北走。牢之与沛郡太守田次之追之，行二百里，至五桥泽中，争趣辎重，稍乱，为垂所击，牢之败绩，士卒歼焉。牢之策马五丈涧，得脱。会丕救至，因入临漳，集亡散，兵复少振。牢之以军败征还。顷之，复为龙骧将军，守淮阴。后进戍彭城，复领太守。」（二）平刘黎、张遇、司马徽之乱：刘牢之虽然在救邺之役打了败仗，但是很快的将功赎罪。在此一时期，刘牢之的战功在于平定一些小乱，安定东晋内部。根据晋书刘牢之列传记载：「祆贼刘黎僭尊号于皇丘，牢之讨灭之。苻坚将张遇遣兵击破金乡，围太山太守羊迈，牢之遣参军向钦之击走之。会慕容垂叛将翟钊救遇，牢之引还。钊还，牢之进平太山，追钊于鄄城，钊走河北，因获张遇以归之彭城。祆贼司马徽聚党马头山，牢之遣参军竺朗之讨灭之。时慕容氏掠廪丘，高平太守徐含远告急，牢之不能救，坐畏懦免。」东晋晚期政争时期东晋在淝水之战后，谢安的声望极高，进位太保、太傅，都督十五州军事，但是招致王室猜疑，于是请求北征，镇于广陵，实际却是遭孝武帝之弟会稽王司马道子排挤而离开朝廷，不久病死。当时司马道子与孝武帝均荒诞无度，双方又产生摩擦，孝武帝命王恭（太原王氏，世族大地主，王皇后之兄）为南兖州刺史，镇北府、又以殷仲甚（陈郡殷氏，世族大地主）为荆州刺史，掌控上游事业。两人为孝武帝培植来对付朝中权臣的力量，但后果却是加速内部统治阶级的分化。孝武帝死后，子司马德宗即位为安帝，朝政却被司马道子所控制，此时司马道子引用王国宝（太原王氏，世族大地主，谢安婿）、王绪（国宝从弟）为心腹以抗王恭、殷仲甚，于是中央与方镇关系越演越烈。刘牢之此时期在北府兵之中势力已相当大，但北府兵真正的控制权却是在王恭以及殷仲甚的手中。虽是如此，刘牢之在北府兵的影响力却还是不可忽视，也由于刘牢之，使得之后东晋的政局产生重大的变化。根据晋书刘牢之列传记载：「及王恭将讨王国宝，引牢之为府司马，领南彭城内史，加辅国将军。恭使牢之讨破王廞，以牢之领晋陵太守。恭本以才地陵物，及檄至京师，朝廷戮国宝、王绪，自谓威德已着，虽杖牢之为爪牙，但以行阵武将相遇，礼之甚薄。牢之负其才能，深怀耻恨。」讨伐孙恩之乱时期在朝廷获得胜利之后，司马元显顾及到有荆州桓玄的威胁、北府兵刘牢之难以控制，所以欲建立一支新军来对抗。但是因为兵源缺乏，于是下令强征浙东诸郡其本身或父祖本是奴隶，后已放免为佃客的壮丁，集中京师，担任兵役（注十八）。加上浙东早先有五斗米教孙泰因伐王恭却被司马元显所诱杀，其兄子孙恩躲入海中，愚民以为孙泰不死而集资给孙恩，孙恩欲图谋报仇（注十九）。在这两种背景之下，孙恩自海上发兵作乱，造成东晋王朝浙东沿海诸郡不安，甚至威胁到京师。孙恩起兵作乱，东晋朝廷命谢琰督军讨伐，而刘牢之也自行请命讨伐孙恩。根据晋书刘牢之列传记载：「及孙恩攻陷会稽，牢之遣将桓宝率师救三吴，复遣子敬宣为宝后继。比至曲阿，吴郡内史桓谦已弃郡走，牢之乃率众东讨，拜表辄行。至吴，与卫将军谢琰击贼，屡胜，杀伤甚众，径临浙江。进拜前将军、都督吴郡诸军事。时谢琰屯乌程，遣司马高素助牢之。牢之率众军济浙江，恩惧，逃于海。牢之还镇，恩复入会稽，害谢琰。牢之进号镇北将军、都督会稽五郡，率众东征，屯上虞，分军戍诸县。恩复攻破吴国，杀内史袁山松。牢之使参军刘裕讨之，恩复入海。顷之，恩浮海奄至京口，战士十万，楼船千余。牢之在山阴，使刘裕自海盐赴难，牢之率大众而还。裕兵不满千人，与贼战，破之。恩闻牢之已还京口，乃走郁洲，又为敬宣、刘裕等所破。及恩死，牢之威名转振。
《晋书》评价：“牢之面紫赤色，须目惊人，而沈毅多计画。”
田余庆老先生对刘牢之评价：“刘牢之的行动并不只是个人晕头转向、进退失宜问题，而是反映了本来是门阀士族的工具的伦荒武将转化为社会统治力量时必然出现的曲折。”《东晋门阀政治》网友评价：刘牢之，东晋首屈一指的虎将，南北朝人称勇将，惯用“虎”字。其时江南人称牢之为“江北虎”，北人称之为“江东虎”。然可称虎者无数，而向牢之一样有“万人敌”之誉的，同时代只有北魏的氐人杨大眼一人而已。就是这样一个在肥水之战中风光无限的男人，说了一句让人十分害怕的话，他说：“大丈夫唯有弄天下人于股掌间而已。”这是既壮丽又贪婪的梦想啊！牢之以为依靠自己天下名将的身份，和手中的北府强兵就可以在政治洗牌中为所欲为。然而不殆，当牢之投在桓玄门下之时，桓玄说：“江东恶虎，惯于伤人。”他只是轻服独骑的走到健康城中，大喝一声：“放杖！（缴械投降）”北府强兵就不战自溃啦。
何故？用牢之的参军刘袭的话说就是“将军往日叛了王兖州，今日叛了司马郎君，还要再叛桓公，一人三反，反复无常，岂足以托命矣！”一代虎将，自缢身亡之时，身边只有一童一仆。
网友评价：战功赫赫青史无名，被漠视的十大汉族名将之一。刘牢之：要问冉魏败亡后谁是天下第一劲旅，那非东晋北府军莫属，北府军是东晋政府的胆，刘牢之就是北府军的胆，这支由南逃汉人组成的虎狼军团勇猛善战，其中还有不少成员是冉闵军的旧部，淝水之战，刘牢之统八万之众大破八十万五胡联军，打出了中华男儿的赫赫天威，今天的人或许忽略了一个历史细节，胡人皇帝符坚在望八公山草木时，把满山林木都看成了士兵，留下了草木皆兵的千古笑话，究竟又是什么原因使这位横行北方的大贼首如此胆战心惊，答案就是在淝水之战的前一天，刘牢之率领五千北府健儿率先对胡人大军发动奇袭，斩杀一万多人，一战打破敌胆，才有了之后淝水之战敌人落荒而逃的局面，遗憾的是，中国史书一直在鼓吹其实并没有担任指挥任务的名相谢安，老刘的声威反而无人知道了。北府军存在了五十多年，最终落到刘裕手里，刘裕也凭借这份家底几度北伐，打出了南北朝时期汉人最辉煌的时代。
网友评价：刘牢之是军人不假，可是他首先是人，而且，在王恭所谓兴晋阳之甲的时候，刘牢之不是不清楚当时的政治形势，以司马道子、司马元显父子的倒行逆施，以当时的封建论理道德和正统的观念，清君侧是很受拥护的，为什么刘牢之出现了首次的背叛呢？因为他贪恋官位，从一个普通参军变成都督六州诸军事的方面统帅对刘牢之来说，比什么都重要，比做人和公理还重要。此外，王恭对刘牢之的表面的轻蔑也起了推波助澜的作用，所以，第一次他的背叛虽然因为是利欲熏心但是包括司马光在内都没过多的谴责他，就是朝廷内外对他抱有理解的也有人在，但是，后来，他出卖司马道子父子并且准备对付桓玄的时候，为什么连刘裕、何无忌这些人都反了呢？“一人三反，何以自立？”一个人不论是军人还是政治家，如果毫无原则，只有自己的蝇营狗苟的私利为主，随意变换信仰，这样的人就是提出了政治主张，你以为会是什么高明的东西吗？一个从事政治的人，（军人也是从事政治的人），如果没有起码的利他观念和起码的信念，那么，他只能是最后变成垃圾，这是毫无奇怪的。而且，刘牢之的阴谋的本质和桓玄没有区别，所以，包括他的儿子刘敬宣在内的人都认为他除了死亡没有其他归路。所以，他只能自杀。这是一切专门耍弄阴谋的人最终最好最可能的归宿。把这样一个人，一个比较卑污的人说成无辜，我认为是对历史的嘲弄。