当时，徐恩曾曾经分析过国民党统治者圈内的形势，认为军事方面有势力的人物各霸一方，他自己无权无势没有插足的条件，经济财政方面当时的情势很严重，通货膨胀，物价飞涨，简直无法控制，蒋介石束手无策。因此，在1941年3月24日国民党五届八中全会上，蒋介石在他的开幕词中讲：“我们今后抗战的胜负，一方面固然仍要取决于军事，但另一方面还要取决于军事以外之经济战争。”“经济要占七分，军事仅占三分”，“无论文武同志，无论在前方后方，大家都可以尽力。”当时的经济部长翁文灏不是得势人物，也不是蒋介石的亲信，如果自己有所贡献，显示出了才能，取而代之是完全可能的。于是他把自己最亲信又觉得最有才能的大将顾建中，从广东盐务局调回中统局，让顾代他处理一切，稳住阵脚，他就腾出手来，打着为领袖分忧解愁的幌子，朝着已经瞄准的目标——经济部长大干起来。
1944年底，不知道是郭紫竣听到什么风声还是为什么，他面对面地向徐恩曾提出：“我为着你，为着整个团体，请求你主动向总裁辞职，由我来过渡一个时期，以后再交权给你，行不行？”徐恩曾不同意，并对郭紫竣表示不信任的态度，郭紫竣生气地向他叫喊：“你把别人（指顾建中）当亲儿子，我想当你的干儿子还不要！”说着掉头而去。
徐恩曾则愤怒地骂郭紫竣出卖了他，想篡夺他打下的江山，表示决不屈服。可是，没有多久，蒋介石真的下了撤销徐恩曾本兼各职的手令。据说，朱家骅在这上边起了作用。
郭紫竣得知徐恩曾被撤职的消息后，兴高采烈，满以为中统局长的大权这次非他莫属了，他万万没有想到，接着徐上台的不是他，而是曾经搞过CC的小组织“FF”、“逸社”等，后来经管冷门“国父实业计划研究会”、“边疆问题研究会”的叶秀峰。叶是交权给徐恩曾的老中统，二陈的亲信。显然，这实际上是二陈同朱家骅背后斗争的结局。
办事不力，蒋介石对其亲下“永不录用”手令
徐恩曾是为蒋介石立下汗马功劳的特务头子。1945年1月底，蒋介石竟下令将徐恩曾“撤销本兼各职，永不录用”，这是为什么？众说纷纭，莫衷一是。
军统方面的人说：是由于他们拿到了徐恩曾制造假钞票大做走私买卖的把柄，向蒋介石告了御状。
中统内部有人说：朱家骅指使郭紫峻向蒋介石汇报中统内部和徐恩曾本人一团糟的种种情况，使蒋介石失去了对徐的信任。也有人说：军统和美特的勾结搞得热火朝天，而中统和英特几次勾结都不太成功，英方把他们的不满透给了蒋介石。蒋介石对英美奉若神明，认为中统做事有失体面，有辱国体。还有人说：由于徐恩曾几年来不务其特务正业，一个劲地为当经济部长而奔波，为二陈所不容，否则，即使蒋介石要撤徐的职，二陈也会出来保驾的。
从各方的意见分析，军统方面说的可能是事情爆发的导火线，二陈对徐的不支持无疑起着根本性的作用，但冰冻三尽非一日之寒，事情有它的发展过程，徐恩曾在他被撤职的前两年多的时间里，多次受到蒋介石的斥责，说明蒋介石下决心把这个为他效劳15年的特务头子撤掉，是由日积月累的不满逐渐形成的。
前边曾经提到，徐恩曾派特务到经济部抓共产党，结果人没抓到反而引起人们的不满，翁文灏向蒋介石告状，蒋介石不得不下手令：中统是党务机关，不得捕人，并要徐查处有关人员。这虽然是蒋介石做给人们看的，起码也如徐恩曾说的，它反映了蒋介石对中统特务技术水平低下，捕人笨拙是不满意的。而且由于有了这条限制中统捕人的“手令”，在军统与中统、戴笠与徐恩曾互相争宠邀功中，军统、戴笠就越来越占上风，中统、徐恩曾的劣群越来越表现得明显。
中统与英特打交道，重要的是三次。第一次是太平洋战争爆发不久，英国当局担心它在缅甸的殖民利益被日本夺走，又害怕缅甸人起来摧毁它的殖民统治，想借中统特务的力量进入缅甸，为它稳定其殖民统治，保护其既得利益。他们通过曾任国民党中央海外部长的吴铁城和徐恩曾挂上钩，双方议定，中统出人，英方负担经费、供应通讯器材，组成缅甸工作队赴缅活动。工作队行至昆明，正副队长发生内讧，队伍无法开动。待到问题解决，日军已逼近腊戌和密支那，接着就侵入我国云南。虽然徐恩曾和英方再三催促，到1942年10月，工作队还没有踏入缅甸一步。英方大失所望，非常不满，提出抗议，停发了经费，工作队从而撤销。第二次是由于日军占领香港、新加坡、马来亚、缅甸等地，英轮被迫停航，华籍海员五六千人被滞留在加尔各答。海员生活极为困难，英方不负责安排，要求中统协助遣散。1942年秋，中统组织一个工作队到印度。经过对华籍海员实行军事管制，分化，瓦解，使海员或另谋职业，或回归祖国，逐渐被解散。事情办完以后，工作队想多得赏钱，英方十分吝啬，为薪水、办公费、服装费等等双方多次发生争执。临回国时，有人购买了印度禁止出口的黄金，在飞机上被英方查获，又来了一阵不愉快的交涉。第三次是向英方选送输往日占区的情报人员，因具备条件的人太少，无大成绩。三件事虽然徐恩曾竭尽其力，但英方颇有怨言，通过不同途径不可避免地传到蒋介石耳朵里。
1943年和1944年，徐恩曾多次受到蒋介石斥责，也是事出有因的。
一次，又是因军统向蒋介石告御状，蒋介石责问徐恩曾，你家里人在成都与民争利，逼出人命，有无其事？徐吞吞吐吐，避重就轻地汇报了一点他老婆王书青放高利贷，做投机买卖的事情，并撒谎说王已离开成都搬往重庆乡下。当时，王书青在成都打着交通部次长徐恩曾的招牌，在中统特务的保护下，大肆投机倒把、走私贩私、胡作非为，什么买卖黄金、美钞、贩运黑货，只要能赚钱的她都干，还仗势欺人，使很多人深受其害。军统为整徐恩曾，搜集情况捅给了蒋介石。
再一次，蒋介石询问山东、河北抗日根据地人民武装的情况。戴笠和国际问题研究所的王艽生都提供不少情况。徐恩曾则因事前缺少准备，提供不出多少，蒋介石斥责他“没有集中精力办事。”
1944年，国民党举行一次会议时，在国民党中央党部发现了一条标语，写的是“总裁独裁，中正不正”。徐恩曾把情况汇报上去，蒋介石要徐一定查个水落石出。徐命令中统局的第三组，即重庆实验区的有关特务和中央党部的党网侦察破案，结果侦察很久都没有结果。蒋介石申斥徐。在我们心腹重地出现这种事，既未事先防止，又不能事后查出究竟，实在是笑话。
同年，美国人拉铁摩尔访问解放区后，写了篇《解放区见闻》给蒋介石，蒋介石阅后批给徐恩曾看，内有“如再因循泄沓，尸位素餐，将来死无葬身之地矣”之句。
同年秋的一次汇报中，徐恩曾、戴笠、郑介民等均在座。蒋介石严厉地责问徐恩曾(大意)：共产党造谣说我和护士同居，破坏我的威信，你为什么不报告？《新华日报》天天登载反对我、反对国民党的言论，你为什么不负责任，听其发行、传播？这充分反映了你们的腐败无能！
徐恩曾这次受批评以后，觉得问题很严重。他心想，蒋介石需要一个女英文秘书，陈家弟兄把年轻美貌、留学美国的侄女送进“宫”去，日夜侍候，被人称为“陈小姐”。气得宋美龄大吵大闹，一怒而飞昆明，再怒而飞美洲，这是很多人都议论的事。蒋介石喜欢姚琮(曾任首都警察厅长)之女，常偕姚女到市郊山洞官邸游逛，这在蒋介石侍卫中是公开的秘密。蒋介石又和美国回来的陈洁如和好，陈到蒋介石官邸话旧，引起宋美龄一番折腾……这些怎么能扯到共产党身上？《新华日报》批评国民党的言论的确不少，但都是公开发表的，在国共合作共同抗战时期一点不让它发表能行吗？新闻检查机关对《新华日报》的报道、言论一再检扣，还是阻止不住它出版发行，这能完全怪中统吗？中统、军统、三青团都有破坏《新华日报》的责任，都毫无办法，而蒋介石只点中统的名，内中必有文章。当然，他也知道，他所领导的中统局，在很多方面，内部人、外部人都在骂，但这决不是个人解决得了的。
尽管如此，徐恩曾还是不愿意破罐子破摔。他为了恢复自己在蒋介石跟前的宠信，为了表示一下他的“振作”，当时他想出了一套办法。一、在中统局提出“争取时间，追求效果”的口号；二、他要中统的人做到“一人一事，事事有人管，处处无闲人”；三、增加工作时间，由每日工作八小时改为十小时。最初几天，口号喊得震天响，徐恩曾本人也煞有介事的每天早六点到局，并亲自往各办公室巡视一周。但为时不过一星期，一切又成了老样子。徐恩曾无可奈何地慨叹道：“积重难返啊！”
就这样，到1945年1月30日，蒋介石把撤销徐恩曾本兼各职的手令，提给了吴铁城、陈果夫、陈立夫。二陈认为徐恩曾离心倾向很重，没有替他说话，提议让叶秀峰继任，吴铁成只好表示赞同。2月1日上午，在重庆川东师范中统局本部信谊堂，徐、叶举行交接仪式。徐和他的亲信，在会上还情不自禁地压抑着呜咽了一阵。
从此，风云一时，用明杀暗害等各种手段使无数革命先烈流血牺牲的徐姓刽子手离开了中统局。不到半月，他的交通次长职务也被撤。3月份，吴铁城为安慰这位被遗弃了的前中统局代局长兼交通部政务次长，派他以国民党中央执行委员的身份，前往贵州指导所谓发动青年从军活动等事宜。徐到贵州后，在省党部纪念周的会上，和过去一样，还是大放厥词，胡吹一气。事后为蒋介石得知，吴铁城受到了申斥，蒋介石说：“今后不准徐恩曾参加任何政治活动！”
1945年5月，国民党召开第六次代表大会，蒋介石又圈掉了徐恩曾作为中央执监委员候选人的名字。至此，徐恩曾除去中国电机工程师学会会长的头衔以外，其他职务都被撤光了，为蒋介石效犬马之劳的徐恩曾，十多年当特务头目的罪恶生涯了结了，但是，他的反动历史，并没有就此了结。
蒋介石虽然给徐恩曾下了“永不录用”的手令，但是徐恩曾并不相信真会如此，他认为，只要自己继续为蒋介石忠实地效劳，“永”字是可以改变为“暂”字的。因为曾扩情被蒋介石批过“永不录用”，过了一时期，又用了起来。西安事变时，西安广播电台台长王劲被宣布过“永不录用”，后来，徐恩曾委王为中统局总工程师，以后又任用王为交通处副处长、处长，蒋介石都默认了。所以，1945年3月徐恩曾下台以后，才敢于接受吴铁城的指派，到贵州工作，并且在贵阳大放厥词。可是，他万万没有想到，蒋介石竟为此把他从贵阳召回来，并且在国民党第六次代表大会期间，把他从中央执监委候选人名单中勾掉。当时，徐恩曾使尽浑身解数，到处“求神拜佛”，进行活动，以求转圜，没有成效。这时他才相信蒋介石真对自己“永不录用”了。
在很短一段时间里，他足不出户，垂头丧气，最亲近的知己看望他，他深有感慨地发牢骚：中国历史上最有名的大特务，莫过于武则天时代的周兴和来俊臣。两个人为武则天出过死力，当时名声显赫，武氏多次赏赐过他们，连宰相狄仁杰都惧怕他们。但是到最后，来俊臣奉武则天之命，杀掉了周兴，来俊臣自己也为武氏所杀。武则天要杀周兴和来俊臣，是因为他们对武则天的隐私知道得太多了。自古以来，大特务都不得好死，根本原因就在这里。我仅仅被撤职而未丧命，应该说是不幸中之大幸！
为时不久，日本投降，徐恩曾原来的亲信，在上海大劫收中，拣了幢相当漂亮的西式洋房给他。洋房位于霞飞路逸园新村7号，徐得意非常。
中统局特务季源溥，在徐恩曾主宰中统局时不受重用。后来，在叶秀峰的安排下，以中统局特派员的身份来到上海，负责上海区的特务活动。季为了报复徐恩曾，唆使部下逼迫徐恩曾搬家，说徐是凭借私人关系，擅自代替管理局暂管这所房产的，是不合法的。徐恩曾磨蹭着不搬，并且多方进行活动。季源溥怂恿他的喽啰，硬是搬进了徐的房子里，把徐恩曾和费侠挤到了一个小房间，弄得徐恩曾非常狼狈。以后，等到陈立夫来到上海，排解了徐、季间的纠纷，才了结了此案。
贪财好色，除有三房夫人尚有无数姘头，为赚钱费尽心机
