在慈禧太后擅权时期，他又前后三次遭到罢黜。
第一次：同治四年（1865年）二月，翰林院编修蔡寿祺上疏弹劾议政王揽权徇私。慈禧太后召见奕，说“有人弹劾你”。奕不谢罪，追问是什么人。后答：蔡寿祺。奕顶撞说“蔡寿祺不是好人”，欲加逮问。慈禧太后大怒，以同治皇帝的名义亲拟诏旨，斥责奕“妄自尊大，诸多狂傲，倚仗爵高权重，目无君上”，宣布撤去他议政王、军机大臣等一切职任。消息传出，朝野震惊。由于众王公大臣一再奏请开恩录用奕，慈禧太后恢复了他的领班军机大臣一职，但取消了其议政王称号。奕入宫谢罪，在太后面前伏地痛哭，无以自容。这次轩然大波，慈禧太后不过略施手段，就使奕充分领教了她的厉害。
此后数年，奕与太后相安无事。但他不是那种八面玲珑的性格，主持枢要，判断是非，又不可能处处依从太后心愿。接着就发生了惩治太后宠监安德海的一段插曲。
慈禧太后平日深居内宫，诸事依赖身边太监，太监对她曲尽谄媚之能事，两者关系非同一般。太监安德海依仗慈禧太后的宠信，在宫内外作威作福，甚至欺负到同治帝头上。小皇帝曾在宫中用泥巴塑了一个小人，早晚用剑砍泥人脑袋，一边砍一边喊：“杀小安子。”朝野之士对安德海多有反感，奕对他更是恨之入骨。有一次，安德海在朝房里夸耀自己官帽上的翎子精美，一些大臣不敢得罪他，只好连声附和。奕实在忍不住自己的厌恶，冷笑着哼了一声，说：“你的翎子再好，怕也护不住后脖子。”说明对他已动了杀机。
同治八年（1869年）夏，慈禧太后授意安德海前往苏州采办龙袍。安德海出京沿运河南下，船上遍插“奉旨钦差采办龙袍”字样大旗。沿途雇觅妇女，唱曲作乐。船抵山东德州，适逢他的生日，随从男女给他设宴祝寿，大事招摇，两岸观者如堵。山东巡抚丁宝桢得到密禀，以安姓太监“自称奉旨差遣，招摇煽惑，真伪不辨”，迅速奏闻朝廷。适逢慈禧太后正在生病（一说正在观戏），奕等人授意军机大臣拟旨，命山东督抚迅速派委干员，将安德海严密查拿，无须审讯，就地正法。安德海被押送省城济南，经丁宝桢亲自审讯后下令处死。安德海伏法，人心大快。丁宝桢因办理此案，竟一时成为风云人物。奕处理此案，相当巧妙。慈禧太后迫于舆论，不敢为安德海公开开脱。她对奕等人虽有不满，却也无可奈何。
第二次：同治十二年（1873年），18岁的载淳宣布亲政。他提出重修被英法联军焚毁的圆明园，给归政后的慈禧太后居住。同治十三年（1874年）七月，奕联合一些朝廷重臣拟定奏疏，以“西陲未靖，外侮方殷”为理由，谏阻修园。同治帝召见群臣，只阅奏折数行，便说：“我停工何如！尔等还有何饶舌？”奕回奏：“臣等所奏尚多，不止停工一事，容臣宣诵。”随即取出折底，逐条讲读。同治帝恼羞成怒说：“我这个位子让给你如何？”奕不敢再奏。
数日后，同治帝召见奕，追问所奏微服出行事，是听谁说的。奕答：“臣子载澄。”同治帝大怒，怨恨载澄。接着，同治帝以“召对时言语失仪”为由，宣布革去奕一切职务，降为不入八分辅国公。因遭到众大臣反对，改为革去亲王，降为郡王；并谕载澄革去郡王衔贝勒，以示惩儆。不过到了次日，载淳的胡闹就受到太后的干预。慈禧太后虽支持重修圆明园，但对载淳的轻躁妄动，还是不赞成的。大事小事，轻重缓急，她心里分得很清楚。据记载，慈禧太后把载淳召入弘德殿，垂泪对跪在下面的载淳教训说：“十年以来，无恭邸（恭亲王）何以有今日？皇上少未更事（年少不懂事），昨谕著即撤销。”同治帝再颁谕旨，赏还奕亲王世袭罔替，载澄郡王衔贝勒。这场风波只闹了数日，就告平息。
这年十二月，同治帝久病不起，一命呜呼，年仅19岁。关于载淳的病因，外间传说纷纭，难以确指。但少年天子，纵欲伤身，当是事实。载淳一死，清朝皇室再次面临继统问题。清朝皇帝近支子弟，以康熙、乾隆两朝为最多。康熙帝有35男，乾隆帝有17男。到了咸丰帝，就只有独子。此后，同治、光绪、宣统三个皇帝连生育能力都没有。三朝前后50年（1862—1911年），宫中不闻儿啼声，当时称为“国统三绝”。同治帝病死而无嗣子，按照祖制，应从近支晚辈中选立皇太子。如果这样的话，恭亲王奕的子孙可能性最大。但这样一来，慈禧就成了“太皇太后”，再也不能“垂帘听政”。因此，她未给儿子载淳立嗣，却决定立自己的妹夫醇亲王奕的4岁儿子载湉为帝（清德宗光绪帝）。
慈禧太后再一次立幼童为帝，使她有更充裕的时间加强自己的权力。奕虽然继续主持军机处长达九年之久，但他的职权却逐步被削弱。光绪六年（1880年），慈禧太后偏听太监诬陷守门护军的一面之词，欲置护军于死罪。奕率领全体枢臣“力争不奉诏”，引起太后的恼怒，大声质问：“你事事与我为难，你到底算什么人？”奕毫不示弱，昂然道：“臣是宣宗（道光帝）第六子。”太后说：“我革了你的爵！”奕回答：“你能革臣的爵，却革不了臣的皇子。”奕等人的抗辩，终使护军从轻发落。此事虽小，却加剧了慈禧太后对奕的不满。
第三次：光绪十年（1884年），法国侵略越南。奕及其主持下的军机处不想轻易开启战端，引起朝臣交章弹劾。适值清军在前线溃败，慈禧太后同醇亲王奕合作，以“萎靡因循”的罪名，将以奕为首的军机大臣全部罢黜，停奕亲王双俸，命他“家居养疾”。又命礼亲王世铎主持军机处，庆郡王奕劻主持总理衙门，并命遇有重大事件，先与醇亲王商办。奕为幼帝生父，照例不能主持朝政，但有“商办”之名，实际隐操枢府大权。慈禧太后这次改组军机处，因发生在甲申年，史称“甲申易枢”。奕劻、奕、世铎的行政能力远不如奕，所以时人把这次中枢机构的大换班比喻为：易中枢以驽马，代芦服以柴胡。驽马即笨马，柴胡是比芦苇价高的一味中药，以讽刺这些新进王公的庸懦。后者的共同特点是对太后无不唯命是从。所以，“甲申易枢”后，太后的权势进一步扩大，标志着她专权统治的确立。
