公元年，曹魏灭了蜀汉，两年后司马炎代魏自立，改国号“晋”，史称西晋，孙吴成为魏蜀吴三国中，最后一个幸存政权。西晋建立后，占有广大北方及巴蜀地区，统治区域辽阔，政治稳定，军事力量强大，大有统一全国之势。晋武帝司马炎素有吞吴之志，更积极筹划消灭孙吴政权的战争，以实现自己统一天下的大业。而此时的孙吴，吴主孙皓即位后，残暴骄盈、沉迷酒色，逼杀太后、大杀宗室，更大修宫室、广选美女、滥杀大臣，使得孙吴国内士民怨声载道。泰始五年(年)，司马炎除任命大将军卫瓘、司马伷分镇临淄、下邳，加强对孙吴的军事布置以外，又特地调任羊祜为荆州诸军都督，假节，命其在防地积极备战以便攻吴。
羊祜可以说是三国时期涌现出的最后的名将，也是晋初的名将，他和杜预是晋朝灭吴最大的功臣。不过与杜预不同，羊祜有一半的时间是生活在三国故而可以说是最后的名将。
此外羊祜与司马家还有关系，他的姐姐嫁与司马懿之子司马师为妻。羊祜曾拒绝曹爽和司马昭的多次征辟，后为朝廷公车征拜为中书侍郎。晋代魏前夕，司马炎调羊祜为中领军，统领御林军，兼管内外政事。司马炎受禅称帝后，羊祜因拥戴有功进号为中军将军，加散骑常侍，进爵为侯，食邑三千户。为早日完全一统天下的大业，司马炎命羊祜为荆州诸军都督，假节，命其在防地积极备战以便攻吴。羊祜到任后，大量开办学校，兴办教育，安抚百姓，怀来远人，又训练军队、积极备战。在之后的十年里，羊祜屯田兴学，以德怀柔，深得军民之心;一方面缮甲训卒，广为戎备，做好了伐吴的军事和物质准备。
此时的孙吴虽然是昏君孙皓在位，但与羊祜隔江相对的却是孙吴名将陆抗。泰始八年(年)十月的西陵之战中，陆抗以三万之众大败西晋八万大军，羊祜因战败被贬为平南将军(后又升任征南大将军)。西陵之败让羊祜意识到，吴国国势虽已衰退，但仍有一定的实力，加之有名将陆抗在侧，一时难以攻伐，于是改对吴军采取怀柔政策，以积蓄实力瓦解对方，寻找灭吴的合适时机。也许是孙吴气数已尽，被誉为东吴最后名将的陆抗于公元年秋天病逝，时年仅四十八岁。陆抗死后，吴国再无良将。羊祜不失时机的上疏请求伐吴，奏疏虽然得到了司马炎的肯定，却遭到朝内其他大臣的强烈反对。
咸宁四年(年)秋，病重的羊祜入朝，再次上疏请求伐吴，并在临终前举荐杜预自代(同年冬天羊祜病死于洛阳，年五十八岁。
羊祜年，羊祜病逝。朝野闻之，无不大恸。据载，晋武帝披麻戴孝扶棺痛哭，泪水在脸上都结了冰。荆襄各地，一片哭声。东吴的戍边将士，也都暗中垂泪。
两年后咸宁六年(年)三月，西晋舟师沿江而下抵达石头城下，吴主孙皓自知大势已去，开城投降，东吴遂亡。当满朝文武欢聚庆贺的时候，司马炎手举酒杯，流着眼泪说：“这是羊太傅的功劳啊!”。