八月，长安令裴行俭与长孙无忌、禇遂良私议武昭仪立后之事，感慨国家之祸必由此始。结果不知是谁大嘴巴使内幕外泄，竟被中丞袁公瑜打听了个清楚。袁公瑜立即向武昭仪之母应国夫人杨氏报信。结果可想而知：裴行俭贬放西州都督府长史。长孙无忌的盟友开始了被拆散的第一步。
老臣帮开始被打散洗牌，完全听命于皇帝的人马却纷纷进入枢机。九月，许敬宗荣升礼部尚书。高宗打算正式出手了。
这天上朝已毕，高宗传召太尉长孙无忌、司空李勣、于志宁、褚遂良四相入内殿。进殿之后，李治果然开门见山：“皇后无子，武昭仪有子，今欲立昭仪为后，何如？”禇遂良立即上前陈词：“皇后名家，先帝为陛下所娶。先帝临崩，执陛下手谓臣曰：‘朕佳儿佳妇，今以付卿。’这可是陛下你亲耳听见过的。再说皇后未闻有过，岂可轻废！臣不敢曲从陛下，上违先帝之命！”
这番话听在李治的耳中，非常不是滋味。既然如此，还有什么可说，于是这场会谈草草收场。
第二天，李治做好了准备，再一次提出议案。岂料所有的准备都白搭，谁也不曾想到，禇遂良竟会将最见不得人的事情当众说出来：“陛下必欲易皇后，伏请妙择天下令族，何必武氏！武氏经事先帝，众所共知，天下耳目，安可蔽也。万代之后，谓陛下为如何！愿留三思！臣今忤陛下，罪当死！”说完，禇遂良将朝笏置于殿阶，解巾叩头流血道，“还陛下笏，乞放归田里。”
禇遂良此举，无疑事前曾经过一番深思熟虑的安排。褚遂良或者是认为如此一闹，武昭仪从此下不来台，皇帝也只能偃旗息鼓。当然还有一种可能：话儿是气赶出来的，气头上这位顾命大臣的嘴没了把关的。无论如何，这番激烈的表演起了反效果。更何况如此一来，高宗若对禇遂良有丝毫让步，都表示默认了他的指责内容。恼羞成怒的高宗不给这位顾命大臣任何面子，立即下令将褚遂良拖出去。
同样愤怒、甚至更愤怒的还有武昭仪，她这时就藏在高宗身后的帘中。听到禇遂良如此嚣张大胆的言论，她的怒火再也控制不住，竟忘了自己身在何处，大声地尖叫了起来：“何不扑杀此獠！”
事件的整个过程如此迅速激烈，令观者不及掩耳。于志宁吓得连话都不敢说，长孙无忌也只能勉强出头：“遂良受先朝顾命，有罪不可加刑！”总算阻止了高宗颁下“扑杀”的旨意，但禇遂良不久即遭贬斥。武则天也如愿以偿地当上了皇后。
李治当年能正位储君，长孙无忌之力最大。以至于太宗宣布立储之后竟对李治说：“汝舅许汝矣，宜拜谢。”后来太宗去世，李治也首先抱着舅舅的脖子嚎啕大哭。此后整个永徽年间的政事，也基本都在长孙无忌的安排下进行。只是这原本非常和谐的画面随着时间的推移变了味。
长大的李治不能忍受舅父的耳提面命，急不可耐地渴望当“真皇帝”。长孙无忌却始终掂记着自己的扶立之功，他的盟友们也不例外，只要逮着机会就要提醒李治“先帝顾命”之类的言辞。他们都忘记了一件事：“先帝”已经死了，眼前的这个青年才是他们的现实主宰。做为皇帝，李治只愿意承认自己是太宗嫡子，理所应当继位；而不是每天听人提醒“你的皇位是别人帮你弄来的”。
也是天佑武则天，恰从显庆元年（公元656年）起，高宗一贯患有的头痛病加重，“多苦风疾，头重，目不能视”。据今人考证，可能是高血压加耳前庭功能失调。这就给武则天提供了参与政务的更大空间。据史书载，高宗“凡百司奏事，皆委武后详决”，百分之百地信任武则天的政治判断力。
武则天初登后位，雄心勃勃，也乐于完成这个非凡的使命。按照高宗安排，她与亲信许敬宗每天在武德殿西门待诏，掌控朝政，了解动向，不知疲倦。
上朝时，夫君在前应答，武后在后决断，形成流水作业程序，纹丝不乱。以致到后来宰相们认为“天下无虑”，竟提出可以改变以前那种每日视事的制度，改为隔日视事了。
在这种高屋建瓴的态势下，武则天要实施的下一步、也是最重要的“定点清除”行动，当然是以长孙集团为目标。
对长孙无忌的打击，有一系列的前哨战。
按照武则天的计划，先实施的是外围行动。把长孙无忌的亲戚，一个个调离京城外放。太常寺卿、驸马都尉高履行被派到益州（今四川成都一带）大都督府任长史；工部尚书长孙祥被派到荆州大都督府为长史。从表面看，这两位部长级人物虽然外放，但所任的职务也非常重要。这两个州是天下显要州郡，都督是由亲王在京城遥领，不实际到任，那么副职长史就是实际上的州官，权力很大。
然而，这两个人不是别人，一个是长孙无忌的表兄弟，一个是他的堂兄弟。这一步棋，天下人都看明白了：是未演“定军山”先演“断臂山”，砍了你的左右手再说！
长孙此时倒还沉得住气，他自武则天封后以来，一肚子的怨恨，索性不去上朝了，在家编篡《武德贞观二朝史》，以静制动——反正我是皇帝的舅舅，还能吃了我不成？
功难成而易败，机难得而易失，高宗和武后没有给长孙无忌太多思考的机会。永徽六年易后，显庆元年易太子，八月即以程知节出京征西突厥，短短几个月间要长孙无忌做好应变立即发难，也实在比较困难。彷徨顾望间，良机已逝，自己又处在武后情报网的严密监视之下，从他和裴行俭私下讨论立后之事便导致裴行俭被贬外放，即可看出武后情报网的高效。身处重重束缚下的长孙无忌，再没有任何资本可以依靠，注定只能于政治的漩涡中万劫不复。
历经风雨的他，必定已经预料到了这样黯淡的前程，也预料到了舅甥之间的权力之争不是以重申忠诚或者忆及亲情就可以让对方的心柔软下来的。于是，长孙无忌选择了沉默和平静的接受，维持着关陇贵族一如既往的骄傲，不曾向对方求和乞怜。正如若干年后的被武后下狱的裴炎，面对亲友的安慰只是镇静地说一句“你几时见过宰相下狱还能活着出去的呢？”长孙无忌开始淡出政坛的是是非非，把全部精力投入到了著书立说之上，意欲为自己身后留下些什么。梁、陈、北齐、北周、隋《五代史志》三十卷，武德、贞观二朝史八十卷相继完成。这一部部凝聚着长孙无忌心血的煌煌巨著，也成为他生命中最后的闪光。
看着这样的形势，大约是出于背水一战的决心，长孙无忌的姻亲韩瑗向高宗上书，为禇遂良喊冤了。然而令人哭笑不得的是，老臣派吃了一场又一场的大亏，却仍然没有弄明白高宗心头的大忌，还在絮絮叨叨他们“先朝老臣”“扶立陛下”的功绩：“社稷之旧臣，陛下之贤佐”“陛下无故弃逐旧臣，恐非国家之福！”
不用想了，原本是哪里跌倒的，还要继续在同一个地方摔下去。这样的对白听在高宗的耳朵里，后果可想而知。“上不纳。”韩瑗试探不果，知道结局将不妙，再次要求“归田里”。又是“上不许。”
高宗是绝对要让韩瑗闭嘴的，但是岂能让他走得如此干净，还反过来给自己这个皇帝戴上一个“无故贬退旧臣”的名声？
果然，没过多久，许敬宗和李义府就出手了。两人一齐上奏，诬陷韩瑗、来济与外放的禇遂良勾结，想要图谋不轨。奏章一上，高宗全本照准。韩瑗背着罪名，从锦绣长安被贬出京城，做了振州（海南三亚）刺史，来济则贬为台州（浙江临海）刺史，禇遂良加贬为爱州（越南清化）刺史，可怜的王皇后舅父柳奭加贬为象州（广西象州）刺史。
显庆四年初夏季节，最后收网的时候到了。事情的起因并不严重，但却是个很微妙的突破口。有洛阳人李奉节，出头告发太子洗马（东宫掌图书的官员）韦季方、监察御史李巢，说他二人勾结朝中权贵，朋党而营私。这是个“说你有，你就有”的罪名。人有朋友乃是常情，何况官场关系从来盘根错节，谁都有人际关系上的渊源。所以这类告发，一般都是别有图谋所在。朝中权贵，所指为谁，在当下不言自明。两《唐书》的编者均认定，这是许敬宗事先策划好的打击方案。
高宗接到这个白丁的举报后，居然下诏让许敬宗、辛茂将负责审理此案。民居然能告官员结党，皇帝居然马上就立案，这都很蹊跷。
许敬宗接了这个活儿，立刻就开始他准备扳倒长孙无忌的步骤。当初在皇后废立之际，许敬宗曾不知深浅地跑到长孙家里去游说，被长孙好一顿臭骂。如今这笔老帐可以来算一算了！
此外，武则天在谋取后位时，也曾与皇帝老公低三下四去长孙那里求情，遭过老头子的白眼。现在，也要一总有个交代了。
上有新皇后，下有新宰相，两股力量开始联手发力。大理寺的官员哪敢不买帐？他们秉承许敬宗的意思，审问甚急，想让韦季方自诬与长孙无忌有勾结。问官许诺，只要承认了，便可从轻发落。
韦季方究竟是如何得罪了许敬宗的，不详。但看得出，他起码是个有良心的人，不忍诬陷长孙无忌。在狱中，韦季方不但抵死不认，还寻机自杀。自杀虽然未成，也是命在旦夕了。
许敬宗见犯人活不长了，又一时榨不出口供，索性就造假了。长孙无忌和韦季方是如何勾结的？为什么会谋反？要为这事找一个原因，对于流氓才子许敬宗来说简直比吃白菜还容易。惯于修改史实的许敬宗向来都有编故事的天赋，当下道：“韦季方之所以结交朋党，就是为了方便陷害忠良，这样大权就可以重归长孙无忌手中，再伺机谋反。”
高宗表现出震惊的样子，说话却很有意思：“是吗？舅父现在被小人包围离间，可能会对朕生有嫌疑，但还不至于谋反吧？”
这话说得很妙，许敬宗还没有费神去想，皇帝倒已经帮忙把长孙无忌谋反的因由给找好了——小人离间嘛。这么一来事情就好办多了，许敬宗只需要给一个肯定的答复就行了：“的确如此，反迹已露！”
隔了一会儿，高宗嘴里哼了一声，泪水簌簌而下，如同若干年前太宗去世时那样满面的惶惧不安，“家门不幸，亲戚之中屡有作乱之人，”高宗哽咽着说，“往年高阳公主与房遗爱谋反，现在舅舅又这样，朕有何面目去见天下人！”他擦了擦泪水，直盯着许敬宗：“若此事属实，朕该怎么做？”
高阳公主一案是怎么处理的，天下人人皆知。许敬宗心头雪也似的亮，顺着话头说下去：“其实房遗爱乳臭未干，与一介女流之辈谋反，有何可怕！无忌曾助先帝谋取天下，天下服其智；为宰相三十年，天下畏其威，他若作乱，陛下能派谁去对付？幸好祖宗有灵，奸谋得以败露，陛下如不速作决断，臣担心长孙无忌得知韦季方畏罪自杀的消息后会狗急跳墙立即发动，到时悔之晚矣！”
高宗不语，沉吟良久，只叫许敬宗再详加询问。然而这样的大案，既不曾加派人手，更不曾亲自提审韦季方，完全交给许敬宗一个人全权处理，其用意大堪玩味。
许敬宗没让高宗等待太久，第二天便报告高宗：“昨天夜里韦季方已经坦白招供，承认与长孙无忌一同图谋造反。臣又问季方：‘无忌贵为国戚，宠惯两朝，他还有什么不满足的，竟然造反？’季方回答说：‘长孙无忌曾和柳奭、褚遂良一起劝皇上立梁王为太子，现在梁王被废，皇上又对他起了疑窦，所以贬黜高履行，放逐长孙祥，韩瑗来济等人纷纷被逐，因此无忌惶恐不安得很，于是和他一起日夜计划造反。’”
这过程说得大致不差，皇帝因起了疑忌之心而贬黜众多朝臣，更将前后因果关系讲得明明白白，除了结果是假的，其他都是真的。这个推理过程，大致可以为人所接受。皇帝又忍不住哭了起来，“啊啊，舅父真的这样做了！可是他对朕恩重如山，就算这样，朕也不忍心杀他呀，否则天下人将怎么看朕？后世又怎么看朕？”
丝毫不质疑长孙无忌是否谋反的事实，只要求一个动手的理由而已。许敬宗学富五车，要找一两个典故还不简单！“皇上如果担心后人的批评，可以想想薄昭的故事。薄昭也是汉文帝的舅舅呀，也是从代王时代便追随文帝的功臣，可是他恃宠而骄，横行不法，汉文帝大义灭亲杀了他，天下人从来没有非议文帝做得不对。帝王有承担天下的责任，不可只顾及个人的私惠。薄昭不过只是杀了人而已，长孙无忌身受两朝重恩，不思报效，竟然谋反，输理的是他呀！常言道：当断不断，反受其乱。长孙无忌当世枭雄，才能不下于王莽、司马懿，陛下这样心慈手软，难道想将锦绣江山易姓他人吗？”
万事都已齐全，皇帝于是正式下诏，剥夺长孙无忌太尉的官职和赵国公的爵位，贬为扬州都督，并且限制他只能住在黔州（今四川省彭水县）。这是前太子承乾流放的地方，也是终结他生命的地方。诏令一下，遣使发兵“护卫”长孙无忌前往黔州，名为护送，实为监视，各州县沿途增派人手，严密警戒，如临大敌。长孙无忌的所有亲友家人无不连坐除名，流放岭外，包括贵为驸马的两个儿子，尽管他们娶的都是高宗的嫡亲妹妹。已经被贬黜的高履行则再被贬为洪州都督，长孙祥再贬为常州刺史，另一位堂弟长孙恩则流放岭南高州。由始至终，高宗不曾亲自召见审讯一下长孙无忌，甚至不曾加派人手和许敬宗共同审理，完全没有给过长孙无忌丝毫的辩驳机会，是怕节外生枝，还是根本不敢面对？
大狱之初，高宗给长孙无忌的待遇还算不错，虽然行同囚禁，但食物还是可享有一品官的待遇，每月有猪羊鱼肉若干。皇帝对于这位舅父，似乎仍然关爱有加。究其实不过是暂时稳住他，让长孙无忌及其党羽以为事情还有回旋余地，不至于拼死一搏的缓兵之计。囚禁中的长孙无忌被严厉禁绝与外界交通，长孙祥曾经给流放黔州的他写过一封信，立即被就地处决，此后他再也无法了解外面的情况。
无忌身为两朝重朝，佐命元勋，长孙家族根深叶茂，势力庞大，朝廷不得不小心从事。切断长孙无忌与外界的联系之后，可以腾出手来，一一剪除长孙集团的枝枝叶叶了。事实上，长孙无忌的两个儿子长孙冲和长孙诠，一尚长乐公主，一尚新城公主，都是唐太宗与长孙皇后的嫡亲女儿，高宗同父同母的姐妹，此时也被牵连除名，一位贬放岭南，一位贬放巂州（今四川）。两位驸马刚到当地，便被怀有密旨的县令下令杖杀。
许敬宗在一纸参倒长孙无忌之后，再度上表：“长孙无忌谋逆，是由褚遂良、柳奭、韩瑗构扇而成；之后，柳奭暗中给废后王氏鸩酒，唆使她谋害皇上。此外，于志宁也党附无忌。”高宗照样是采取了问也不问的态度，并未作任何调查，即下诏削褚遂良官爵，柳奭、韩瑗除名，于志宁免官。褚遂良的两个孩子彦甫、彦冲跟父亲一样流放爱州（今越南清化），但走到半路上即被杀，和长孙的族人一样下场悲惨。褚遂良当庆幸自己的早死，不至于亲眼目睹子孙的凄惨结局。
