人这一生有风有浪、有顺有逆、有高有低，只有秉持着谦卑的姿态行走其间，才能顺利通过所有门庭。
羊祜是名副其实的官宦子弟，他的外公便是大名鼎鼎的东汉蔡邕，其胞姐则是晋景帝司马师的献皇后。不过，羊祜为人一身清风、谦恭有加，并无半点官宦子弟的骄奢习气。
羊祜年轻之时便已声名远播，曾被荐举为上计吏，州官4次邀请他做从事、秀才，五府也召他出来做官，但均被他一一谢绝了。因此，有人将他比作孔子最得意的门生——谦恭好学的颜回。正始年间，大将军曹爽专权，曾欲启用羊祜和王沈。王沈得信后，满心欢喜地劝羊祜与他一起去应命就职，羊祜对此颇为不然，淡淡答道：“委身于人，谈何容易！”后来，司马懿发动高平陵政变，曹爽失权被诛，王沈受到牵连而被免职。王沈后悔没有听羊祜的话，对他说道：“我应该常常记住你以前说的话。”羊祜听后，并没有炫耀自己有先见之明，反而谦虚地表示：“这不是预先能想到的。”
晋武帝司马炎称帝以后，鉴于羊祜辅助有功，遂任命他为中军将军，加官散骑常侍，封郡公，食邑三千户。对此，他坚决推辞，于是改封为侯。虽然名位显耀，但羊祜对于王佑、贾充、裴秀等前朝有名望的大臣，一直秉持着谦虚的态度，从不将其视为自己的属下。
后来，为表彰羊祜都督荆州诸军事等功劳，皇帝加封他为车骑将军，地位等同三公，羊祜再次上表推辞，他在奏章中写道：“臣入仕方十余年，便在陛下的恩宠之下占据如此显要的位置，因此无时无刻不为自己的高位而战战兢兢，荣华对我而言实属忧患。我乃外戚，只因运气好才能事事办得顺利，自当警诫受到过分的宠爱。但陛下屡屡下诏，赐予了我太多的荣耀，这让我怎么承受得起，又怎能心安得了？现在朝中，有不少德才兼备之士，比如光禄大夫李熹高风亮节，鲁艺洁身寡欲，李胤清廉朴素，却还都没有获得高位，而我只是一个无德无能的平庸之辈，地位却在他们之上，这让天下人作何感想？怎能平息天下人的怨愤呢？所以乞望陛下收回成命。”但皇帝没有应允。
羊祜身事两朝，手掌要权，地位显赫，但他本人对权势的欲望却非常淡然，但凡举荐某人升迁，事后绝不张扬，以至于很多被举荐者一直不知道羊祜曾有恩于自己。
羊祜一生清廉、俭朴，除官服外，平时只穿素布衣裳，朝廷发放的俸禄也大多用来周济族人或是赏赐军士，家无余财。
羊祜临终之时嘱咐子嗣，不可将南城侯印放入棺木。他的外甥齐王司马攸为此上表晋武帝，表明羊祜不愿按侯爵下葬的意愿，武帝下诏说：“羊祜一生清廉、谦让，志不可夺。其身虽去，但美德仍在。这便是伯夷、叔齐被尊为贤人，季子能够保全名节的原因所在啊！现在我下诏恢复原来的封爵，以表彰爱卿的高尚德馨。”
毫无疑问，羊祜这一生是成功的，他的谦恭令天下百姓、满朝文武乃至一国之尊，无不对其敬佩有加。
