正所谓伴君如伴虎，而萧望之很好的诠释了这句话，可以说有可能你的失宠在帝王看来就是一句话的事情。
大司农中丞耿寿昌建议设立常平仓，汉宣帝刘洵认为这样很好，可是萧望之却责怪寿昌。丞相丙吉年老，汉宣帝看重他。萧望之又上奏说道：“陛下，百姓贫困，盗贼不停，二千石一级的官员多数才能低下不能胜任其职。三公不是合适的人，所以三光（日、月、星）因此不亮，今年开头日月少光，罪在臣等人。”
汉宣帝刘洵认为萧望之意在轻视丞相，于是下诏命令侍中建章、卫尉金安上、光禄勋杨恽、御史中丞王忠，共同诘问望之。萧望之脱下帽子放到一边对答，汉宣帝刘洵由此不喜欢他。
后来丞相司直緐延寿上奏说道：“陛下，侍中谒者良秉承皇帝的命令去告诫望之。萧望之只是拜了两拜而已。良对望之说话，望之故意伏地不起，却对御史说‘良的礼节不周。”
按照先例，丞相生病，御史大夫当日就要去探望病情；上朝奏事相会于庭中，次第当居丞相后，丞相谦让，大夫才稍进，并且拱手示礼。今丞相屡病，望之不探问病情，在庭中相逢，与丞相并齐，经常议事不合他意，萧望之就说：‘君龄尊高，难道能与我父亲同年么！’望之知道身为御史有权不敢擅自使用，多让守史私乘车马，到杜陵照护家事。少史戴着法冠，为他的妻子在前导车；又使吏为其家卖买，而吏以私钱增益其家，总计有十万三千。照说萧望之身为大臣，精通经术，位在九卿之上，是本朝人们敬仰的人，不应该到不奉法自修、居傲不谦让的地步，而受贿所属牢狱的赃款二百五十万以上，请求逮捕囚禁起来惩处。”
汉宣帝刘洵于是下文书给萧望之说道：“朕闻，有司上奏说你责难使者礼不备，对丞相无礼，听不到你廉洁的名声，为人傲慢不谦逊，没有辅政为百官表率的姿态。你不深思，陷于此邪恶的行为中，朕不忍心给你处分，派光禄勋杨恽传达朕的命令，降职让你作太子太傅，授给你太傅印。你交还原大夫印绶给杨恽，不必进宫谢恩可直接到官。希望你能掌握道理，明白孝道，亲附、结交正直之士，竭尽其意不要再有过失，不要有什么辩白。”
萧望之降职后，黄霸代作御史大夫。数月间，丙吉死，黄霸担任丞相。黄霸死，于定国再代为丞相。萧望之被废弃，不能作丞相，只作太傅，用《论语》、《礼服》教皇太子刘奭。
起初，匈奴呼韩邪单于来朝见，汉宣帝刘洵令公卿讨论其礼节仪式，丞相黄霸、御史大夫于定国商议说：“圣王的制度，施予恩德执行礼仪，以京师为先而以诸侯国为后，以诸侯国为先而以夷狄为后。《诗经》说‘沿着大道没偏向，巡视各地把教化扬。相土赫赫多威武，海外同心来归向。’陛下至高无上的德行充满天地，光明普照四海，匈奴单于闻风仰慕圣朝的教化，进献珍宝来朝贺，自古以来第一例。接见的礼仪应像对诸侯一样，位次在诸侯之下。”萧望之以为“单于不是汉天子开国分封的，是地位相等的国家，应不以臣下之礼相待，位在诸侯王之上。四海的兄弟之族叩头称自己是属国，中国谦让而不以臣之礼相待，这正是谦谨的德行，谦虚则亨通。而《尚书》说‘戎狄离王城四千五百多里’，言其招徕，恍惚无常。如果匈奴子孙后代纵有鸟窜鼠伏，断缺朝拜贡物，也不算叛臣。信用谦让行于兄弟之族，赐福流到无穷，这是万世长策。”
汉宣帝采纳了他的意见，下诏说：“朕闻，五帝三王教化不到的地方，政策法令不到。如今匈奴单于称自己是北面的属国，朝拜宗主国，朕的不周，恩德未能普照。用客礼接待他们，令单于位在诸侯王上，谒见时称臣不记载。”
等到汉宣帝刘洵卧病不起，选择可以嘱托国事的大臣，接外家亲属侍中乐陵侯史高、太子太傅萧望之、少傅周堪到宫中，拜史高为大司马车骑将军，望之为前将军光禄勋，周堪为光禄大夫，都受遗诏辅政，兼任尚书事。汉宣帝刘洵驾崩，太子刘奭继承皇位。萧望之、周堪因为是老师而被尊重。萧望之、周堪屡次在闲暇入见天子，讨论治理国家的方略，陈述为君王服劳的事。
萧望之选举纯宗室明经达学的散骑谏大夫刘更生为给事中，同侍中金敞在汉元帝左右提意见。萧望之、周堪、刘更生、金敞四人同心谋议，用古制劝导刘奭，提出很多匡正的建议，刘奭多纳用其言。起初，汉宣帝刘洵在位的时候不甚听从儒术，任用法律，而中书宦官当权。
中书令弘恭、石显长期主管朝廷机要部门，精通法令条文，与车骑将军史高勾结，论议经常独自坚持旧日的典章制度，不听从萧望之等人的意见。弘恭、石显议论不能持正，常被刘奭折服。
萧望之以为中书是政事之本，应从贤明人中选择人才，但是从武帝优游饮宴于后庭，重用太监起，改变了国家的旧制，又违犯古代不近受过宫刑的人的意思，于是禀告刘奭要更换士人，从此更加与史高、弘恭、石显相违牾。汉元帝初即位，由于谦让，不好在中书中更换人选，议论久而不决，只让刘更生出任宗正，掌管王室亲宗的事务。
萧望之、周堪多次推荐名儒作谏官。会稽郑朋暗中打算依附萧望之，上疏说车骑将军史高派门客到郡国进行奸狡活动，还说到许章、史高子弟的罪过。郑朋把奏章给周堪看了，周堪叫郑朋候命金马门。
郑朋的奏章上赞颂萧望之说道：“陛下，将军体现了周公、召公的德行，保持了孟公绰廉正的品质，具有卞庄子的勇气。到了耳顺之年，处于使敌人闻风丧胆的地位，称号到了将军，的确是士中高到极点的了。广大民众没有谁不高兴，都称赞朝廷委任将军诚得其人。现在将军立意是赶上管仲晏婴而后止呢？还是要恢弘前朝盛世，废寝忘食，直到像周公召公一样而后止呢？像管晏而后止，那么我将回乡躬耕，修农圃之田，养鸡种黍，待见二子，终若一生而已；如将军鲜明地要度越寻常的约束作高操的行为深思熟虑，堵塞奸邪险道，发扬不偏不党的政事，振兴周公遗留下来的业迹，亲身实践废寝忘食兼听众议，那么我大概可以竭尽区区之力，磨炼刀刃，作点微薄奉献了。”
萧望之同他相见，采纳了他的意见。郑朋屡次称颂望之，谈车骑将军史高的短处，说许章、史高的过，这可以说是对萧望之的死埋下了祸根。（本章完，未完待续。）
