羊祜死后，举天皆哀。晋武帝亲着丧服痛哭，时值寒冬，武帝的泪水流到鬓须上都结成了冰，追赠羊祜为侍中、太傅，持节如故。

荆州百姓在集市之日闻之羊祜的死讯，罢市痛哭，街巷悲声相属，连绵不断；吴国守边将士也为之落泪。可惜羊祜无子，以兄发子篇奉祜嗣。

荆州人为了避羊祜的名讳，把房屋的“户”都改叫为“门”，另把户曹也改为辞曹。

晋灭吴的战争结束了汉末以来长期的分裂割据状态，使中国重归一统。羊祜虽然没有亲自参加这次战争，但他为规划、准备这场战争作出了不可磨灭的贡献。

羊祜死后二年，杜预按羊祜生前的军事部署一举灭吴，完成了统一大业，当满朝文武欢聚庆贺的时候，武帝手举酒杯，流着眼泪说：“此羊太傅之功也！”。[24]羊祜生前有很多着述，有名的有《晋书·羊祜传》记载的《老子传》和《请伐吴疏》，另外他还受命修撰《晋礼》、《晋律》，对晋朝典制创立多有贡献。[25]2后世纪念羊祜的仁德流芳后世，襄阳百姓为纪念他，特地在羊祜生前喜欢游息之地岘山建庙立碑，原名为晋征南大将军羊公祜之碑，简称羊公碑。

此后每逢时节，周围的百姓都会祭拜他，睹碑生情，莫不流泪，羊祜的继任者、西晋名臣杜预因此把它称作堕泪碑。堕泪碑现位于湖北省襄阳市。[26]3历史评价司马炎：“蹈德冲素，思心清远。始在内职，值登大命，乃心笃诚，左右王事，入综机密，出统方岳。”“祜固让历年，志不可夺。身没让存，遗*益厉，此夷叔所以称贤，季子所以全节也。今听复本封，以彰高美。”

孙盛：“抗与羊祜推侨、札之好。抗尝遗祜酒，祜饮之不疑。抗有疾，祜馈之药，抗亦推心服之。于时以为华元、子反复见於今。”

房玄龄：“泰始之际，人只呈贶，羊公起平吴之策，其见天地之心焉。昔齐有黔夫，燕人祭北门之鬼；赵有李牧，秦王罢东并之势。桑枝不竞，瓜润空惭。垂大信于南服，倾吴人于汉渚，江衢如砥，襁袂同归。而在乎成功弗居，幅巾穷巷，落落焉其有风飚者也。”“汉池西险，吴江左回。羊公恩信，百万归来。”[27]孟浩然：“人事有代谢，往来成古今。江山留胜迹，我辈复登临。水落鱼梁浅，天寒梦泽深。羊公碑尚在，读罢泪沾襟。”

杜牧：“周有齐太公，秦有王翦，两汉有韩信、赵充国、耿恭、虞诩、段颎，魏有司马懿，吴有周瑜，蜀有诸葛武侯，晋有羊祜、杜公元凯，梁有韦恚，元魏有崔浩，周有韦孝宽，隋有杨素，国朝有李靖、李积、裴行俭、郭元振。如此人者，当此一时，其所出计画，皆考古校今，奇秘长远，策先定於内，功后成於外。”

刘钧：“平吴献策了无遗，馈药人无酖毒疑。最是感人仁德厚，当时堕泪有遗碑。”

陆游：“不见襄阳登览，磨灭游人无数，遗恨黯难收。叔子独千载，名与汉江流。”陈元靓：“惟兹羊公，命世之雄。鹰扬江表，鹗立天中。修饬军政，内赞朝聦。西晋帝业，实羊之功。”

在晚年也曾多次调阅《晋书·羊祜传》，并在书封写下题记，对羊祜也有过高度的评价。

唐朝建中三年（公元782年），礼仪使颜真卿向唐德宗建议，追封古代名将六十四人，并为他们设庙享奠，当中就包括“征南大将军南城侯羊祜”。[33]及至宋代宣和五年，宋室依照唐代惯例，为古代名将设庙，七十二位名将中亦包括羊祜。

4家族成员祖父：羊续，曾任东汉南阳太守，为官清廉，有“悬鱼拒贿”的事迹。

外祖父：蔡邕，文学家。

姨母：蔡文姬。

父：羊衜，曾任上党太守，早逝。

生母：蔡氏，蔡文姬的姊妹。

长兄：羊发，母为孔融之女，官至都督淮北护军。

羊发四子：分别为高阳相羊伦、阳平太守羊暨（儿子羊曼是东晋名士，孙子羊贲娶晋明帝的女儿南郡公主）、镇南将军羊伊、散骑常侍羊篇次兄：羊承，羊祜同母兄，因病早亡。

妻：夏侯氏（夏侯霸之女，由夏侯威主婚）。

姊：羊徽瑜，司马师之妻。

羊祜无子，晋武帝命其兄羊发之子羊暨继嗣，羊暨以父亲已死为由抗命；晋武帝又命羊暨弟羊伊继嗣，但羊伊以未得生父之命为由不为羊祜服丧，最终仍以本生父为父。公元281年（太康二年），羊伊的弟弟羊篇被封为钜平侯，成为羊祜的继嗣。

晋孝武帝太元年间，羊发玄孙之子钜平侯羊法兴坐桓玄党伏诛，爵除。尚书祠部郎荀伯子上表求为羊祜立嗣，未果。