神龙元年(705年)正月,张柬之趁武则天病重之时,准备诛杀张易之兄弟。此时,姚崇正好回京,姚崇与张柬之等人经过谋划,杀死张易之兄弟。随后,又逼武则天让位于太子李显。李显复位以后,姚崇担任宰相之职。
武则天迁居上阳宫以后,王公大臣们个个喜形于色,只有姚崇一个人呜咽流泪。
张柬之劝道:"您不要在今天流泪,会惹祸上身的。"
姚崇哭道:"我和你们一起诛杀张易之兄弟,是臣子应该做的,不敢邀功,现在突然要离开侍奉多年的则天皇帝了,心中感到难过而哭泣,如果由此获罪的话我也心甘情愿。"不久,姚崇就被中宗李显贬为刺史。
姚崇之所以悲伤,主要是因为他见昏庸的中宗继位后,面对武氏家族的势力,一场激烈夺权斗争在所难免,他不想成为这场权利之争的牺牲品,才会"以一涕谢诸武"。
果然不出姚崇所料,张柬之等五人第二年就在流放途中遇害身亡,而姚崇因远离京城免于一死。
不久,韦后和女儿安乐公主合谋,毒死了中宗。李隆基策动禁军发动政变,将韦后和安乐公主及其党羽一网打尽。相王李旦恢复帝位。
睿宗李旦即位以后,姚崇再次当上了宰相。此时,姚崇名为宰相,却没有任何实权,真正掌权的是太平公主。
太平公主干预朝政,一心想效仿其母武则天。为了防患于未然,姚崇建议将太平公主安置在东都洛阳。不想昏庸的睿宗却将这件事如实地转告了太平公主。
太平公主大怒,李隆基为了争取主动,主张严惩姚崇等挑拨皇上与太平公主兄妹关系的人。于是,姚崇被贬为申州刺史。