尚书左丞白褒奏山涛违诏。武帝说：“山涛因病自求辞职，只是没有听从他的要求罢了。如山涛用人不当而坐罪是可以的，何必上下动手，颠倒轻重呢？不得再追究此事。”山涛内心不安，于是上表谢罪说：“自古以来行王道者守正而已。陛下不能因为一个老臣而改变国法，臣有何心向皇上陈辞。请照白褒所上之表处置，以显示不枉刑法。”武帝又下手诏说：“白褒所奏是虚妄的，我所以未追究他的责任，是我不喜欢动辄发怒，您是明智而有度的人，哪能介意呢！应当就职理事，不让他们再上章表就是了。”
山涛决心引退，因为堂弟媳发丧，返回外舍。武帝下诏说：“山仆射近日暂时出居，因有所*劳而未还，这不是我坐侧席而待贤的意思。现派遣丞掾奉旨告谕，若身体尚未康复，便坐舆车抬回府寺。”山涛辞让不能获准，无奈之下才就职理事。[10]山公启事山涛再次任选职十余年，每逢官位有缺，总选又几位备用的人，看到诏旨倾向于某一人，然后才明言上奏，先将武帝所想用的人提出，所以武帝所想用的人，有时没有先提出来，众人不了解详情，认为是山涛凭自己的意愿用人。有人在武帝面前说山涛的不是，所以武帝亲手写诏告诫山涛说：“用人的标准是有才，不遗漏疏远孤贱而有才的人，教化才能遍行于天下。”而山涛还是照样行事，一年以后，众人的意见才平息。山涛所荐拔上奏的人物，列名成册，当时称为《山公启事》。[11]山涛在朝处于各派之中，晚年时正值杨皇后亲党专政。山涛不愿用杨氏，多次讽谏武帝，武帝虽领悟其意而终究不能改正。后来，山涛因年迈病重，上疏告退说：“臣年近八十，苟延残喘于旦夕，若对国家还有毫末之益，怎能留余力于盛世。迫于衰老，不能再负重任。当今四海无事，天下思从教化，从民心而行无为之政，百姓自能正己。只是应当崇尚风教以使民俗归厚罢了，陛下又有何事可做。臣耳聋目昏，无力奋进。君臣父子之间无须掩饰，因而直陈愚情，希望答应臣的请求。”于是摘下帽子，赤脚徒步送还印绶。
武帝下诏说：“天下事还繁多，加之吴国初平，各项事业都处于草创阶段，应当共同尽力以化成天下。您不识往日我留您的深意，而以小疾为由求退，这不是我希望于您的啊！我犹坐于侧席而待贤者，未得垂衣拱手而治天下，您怎么能引退而求高尚之名呢！应当倡导至公无私之心，不要再做那追求虚名的烦琐之事。”山涛上表苦苦求退，武帝又下诏不许。
尚书令卫瓘上奏说：“山涛因有小病，久不履职。频繁下诏，还不服从诏命。朝中议论以为这样不能成全他的高尚之节，也违背在职为公的要求。若山涛病情沉重，也不宜居官位。可免去山涛官职。”
武帝下诏给卫瓘说：“山涛有德*，素为众望所归，而深心退让，十分恳切。故连续下诏，必求改变他的主张，以匡扶朝廷，弥补缺漏。主事者不明诏书深意，反而加以曲解，这有损于崇贤之风，给我加上轻贤无德之名，怎能给远近之人做出表率呢？”山涛不得已又就职理事。
精论武备太康初年，迁任尚书右仆射，加光禄大夫、侍中，掌选职如前。山涛因年老身病坚决要求辞职，武帝亲手写诏说：“您的道德为世人楷模，况先帝已识您的高远之志。我将依靠您以使风俗淳厚，您为何要舍弃朝政以求高名呢！我的至诚之心还不足以使您明白吗？为何上表的言论是那样恳切。应当及时自勉，以慰我深切之望。您不改变引退之志，我将卧不安席。”
山涛又上表坚意辞让，武帝不许。平吴之后，武帝下诏罢除天下兵役，表示海内平安无事，州郡都解散军队，大郡设置武吏一百人，小郡设五十人。武帝曾在宣武场讲武，山涛当时有疾。武帝下诏乘坐人拉的辇车跟从。山涛当时与卢钦讨论用兵之本（卢钦已于平吴前卒，或许是记载疏漏）。认为不应该废除州郡武备，他的论点很精湛。当时人们都以为山涛虽不学孙、吴兵法，但其论兵暗与兵法合，武帝称赞道：“真是天下之名言啊！”但不能采用。在惠帝永宁年间后，多次发生事变，盗贼蜂起，各郡国都因无军备而不能制止，于是导致天下大乱，果如山涛所言。
位列三司公元282年（太康三年），被拜为司徒，山涛又坚意辞让，武帝下诏说：“您年迈而德高，是朝中元老，因而授给台辅之位，但您崇尚谦让之远名，反复推辞，令我心中忧虑。您应该坚持始终，辅助我呀。”
山涛又上表说：“臣侍奉天朝三十余年，对德政教化无毫厘功效。陛下私心爱臣不已，枉授三司之任。臣听说德行薄陋而位高，力量少而责任重，这样导致上有败坏国事之祸，下有损伤家庙祖宗之咎。希望陛下念累世君臣之恩，乞求骸骨以归故里。”武帝下诏说：“您辅助朝政，保护治理皇家，匡扶之功，为朕所依赖。司徒之职，实掌国家教化，因而敬授予您，以满足群臣百姓之望，怎能只顾谦让而贬低自己呢！”武帝下令不准山涛再上章表辞职，使者把印绶交给卧病在床的山涛。山涛说：“将死之人，怎能玷污官府呢！”于是卧病乘车归家。
清贫而终公元283年（太康四年），山涛去世，终年七十九岁。武帝下诏赐棺木朝服各一具、衣一套、钱五十万、布百匹，以供丧事之用，策命追赠司徒的蜡印紫绶、侍中的貂蝉及新沓伯的蜡印青朱绶，以太牢礼仪祭祀，谥号康。将要下葬时，又赐钱四十万、布百匹。
司徒左长史范晷等上奏说：“山涛旧宅第仅有屋十间，但子孙众多，容纳不下。”武帝于是为山涛家建了住宅。
山涛前后选举百官都选贤用能，只有用陆亮，是武帝诏命所任用的，与山涛意见不一，山涛争辩而武帝不听。陆亮不久也因为贪污受贿而被罢免。
2个人作品有文集十卷，《全晋文》录入五卷，山涛书法《为子淳尤辞召见表》、《表谢久不摄职》、《表乞骸骨》、《上疏告退》、《启事》、《答诏问郄诜事》等。[18]3轶事典故堪公夫人山涛的妻子韩氏，和山涛的感情一直非常好。山涛做官之前，家徒四壁，但韩氏从来没有怨言。有一天，山涛对她说：“娘子啊！你暂且忍一忍现在的饥寒，我日后定当位列三公，只是不知道到时候娘子你是否做得来三公夫人哩。”等到山涛显贵之后，仍正派节俭，虽爵同千乘之君，但不养婢妾，俸禄赏赐，都散给亲戚故人。[19]我度为胜当时，山涛和嵇康、阮籍一见面，就情投意合，好得像一个人。韩氏觉得山涛和这两位的交往超出了寻常的友谊之情，于是问他怎么回事，山涛就说：“眼下能做我的朋友的，就只有这么两位了。”这句话更激起韩氏的好奇心。她对丈夫说：“我也想看看他们，可以吗？”有一天，嵇康和阮籍又来了，韩氏就劝山涛将两个人留下来住宿，并给他们准备了好酒好肉。然后，韩氏不但把自己家的墙钻穿了，还一直看到天亮时分才回来。
后来，当山涛问起韩氏的观看感受时，韩氏坦直地对他说：“你呀，你呀，才智情趣比他们差远了！不过以你的见识与气度和他们交朋友，还差不多！”山涛大约有点吃醋，听到这话总算找到一点自尊，就说：“是啊，是啊，他们也总认为我的气度胜过他们啊！”
悬丝尚书当初，陈郡人袁毅悬丝尚书曾为鬲令，性贪而行污，以贿赂公卿而求美誉。也送给山涛丝百斤，山涛不想要拒绝接受而于别人不同，于是收下藏在阁楼上。后来袁毅的事被揭发，用槛车送京师廷尉受审，凡受贿的人都被检举。山涛就取出丝交给办案的官吏，丝上积满尘土，封条印章未动。
八斗方醉山涛饮酒八斗才会醉，武帝想试他的酒量，准备了八斗酒让山涛喝，而暗地又添一些酒，山涛喝八斗就不再喝了。
璞玉浑金王戎盛赞山涛道：“山涛就像未经琢磨的玉和未经冶炼的金一样。人们往往都欣赏玉和金光彩夺目的外表，而对未经琢磨的玉和未经冶炼的金，却不知道它们内在的高贵质地。”每饷恒少晋武帝每次赏赐东西给山涛，总是很少。谢安便以此事问子侄们是什么原因，谢玄答道：“这应该是由于受赐的人要求得不多，才使得赏赐的人忘了给与得很少。