一副高高在上的姿态，一副得意忘形的面孔，一副颐指气使的神情，一副专横跋扈的气势……以这种傲慢的姿态处世，迟早会失败。社会的门槛有高有低，只有以谦卑的姿态行走其间，才能顺利通过所有的门庭。
羊祜出身于官宦世家，是东汉蔡邕的外孙，晋景帝司马师的献皇后的同母弟，但他为人清廉谦恭，毫无官宦人家奢侈骄横的恶习。他年轻时曾被荐举为上计吏，州官四次征辟他为从事、秀才，五府也请他做官，他都谢绝了。有人把他比做孔子最喜欢的学生、谦恭好学的颜回。曹爽专权时，曾任用他和王沈。王沈兴高采烈地劝他一起应命就职，羊祜却淡淡地回答：“委身侍奉别人，谈何容易！”后来曹爽被诛，王沈因为是他的属官而免职。王沈对羊祜说：“我应该常常记住你以前说的话。”羊祜听了，并不夸耀自己有先见之明，说：“这不是预先能想到的。”
晋武帝司马炎称帝后，因为羊祜有辅助之功，被晋升为中军将军，加官散骑常侍，封为郡公，食邑3000户。但他坚持辞让，于是由原爵晋升为侯，其间设置郎中令，备设九官之职。他对于王佑、贾充、裴秀等前朝有名望的大臣，总是十分谦让，不敢位列其上。
后来因为他都督荆州诸军事等功劳，加官到车骑将军，地位与三公相同，但他上表坚决推辞，说：“我入仕才十几年，就占据显要的位置，因此日日夜夜为自己的高位战战兢兢，把荣华当做忧患。我身为外戚，事事都碰到好运，应该警诫受到过分的宠爱，而不怕被遗弃。但陛下屡屡降下诏书，给我太多的荣耀，使我怎么能承受？怎么能心安？现在有不少才德之士，如光禄大夫李熹高风亮节，鲁艺洁身寡欲，李胤清贫朴素，都没有幸运获得高位，而我无能无德，地位却超过他们，这怎么能平息天下人的怨愤呢？因此乞望皇上收回成命！”但是皇帝没有同意。
晋武帝咸宁三年，皇帝又封羊祜为南城侯，羊祜坚辞不受。羊祜每次晋升，常常辞让，态度恳切，因此名声远播，朝野人士都对他推崇备至，以至认为他应居宰相的高位。晋武帝当时正想兼并东吴，要倚仗羊祜承担平定江南的大任，所以此事被搁置下来。羊祜历职二朝，掌握机要大权，但他本人对于权势却从不钻营。他筹划的良计妙策和议论的稿子，过后都焚毁，所以世人不知道其中的内容。凡是他所推荐而晋升的人，他从不张扬，被推荐者不知道是羊祜荐举的。有人认为羊祜过于缜密了，他说：“这是什么话啊！古人的训诫：入朝与君王促膝谈心，出朝则佯称不知——这我还恐怕做不到呢！不能举贤任能，有愧于知人之难啊！况且在朝廷签署任命，官员到私门拜谢，这是我所不取的。”
羊祜平时清廉俭朴，衣被都用素布，得到的俸禄全拿来周济族人，或者赏赐给军士，家无余财。临终留下遗言，不让把南城侯印放进棺枢。他的外甥齐王司马攸上表陈述羊祜妻不愿按侯爵级别殓羊祜的想法时，晋武帝便下诏说：“羊祜一向谦让，志不可夺。身虽死，谦让的美德却仍然存在，遗操更加感人。这就是古代的伯夷、叔齐之所以被称为贤人，廷陵季子之所以保全名节的原因啊！现在我允许恢复原来的封爵，用以表彰他的高尚美德。”
羊祜是成功的，上至一国之主，下至黎民百姓，都对他表示敬佩。羊祜的参佐们赞扬他德高而卑谦，位尊而端恭。
