1949年6月11日，国民党中央常务委员会为应对时局与实行党的改造，决议成立“非常委员会”，由蒋介石、李宗仁、孙科、居正、于右任、何应钦、阎锡山、吴忠信、张群、吴铁城、朱家骅、陈立夫等12人组成。蒋介石指定陈立夫、陈诚、蒋经国等人负责拟就《本党改造方案》。7月16日，国民党正式成立了非常委员会。18日，在广州的国民党中央常务委员会通过了蒋介石提出的《本党改造案》与《改造纲要及实施程序》。9月20日，蒋介石又在重庆发表《为本党改造告全党同志书》，号召全体党员认真研究改造方案：
在消极方面，要检讨过去的错误，反省自己的缺点。我们要把失败主义的毒素彻底肃清，要把派系倾轧的恶习痛切悔改，要把官僚主义的作风切实铲除。
在积极方面，我们首先要确定党的社会基础和政策路线，并以此为根据，以决定党的组织原则和工作方向。
然而，由于当时蒋介石与国民党在大陆的政治、军事已惨遭失败，蒋介石忙于收拾残局，根本无暇他顾，改造工作事实上无法实施。
8月1日，蒋介石在台北草山设置总裁办公室，并将草山改名为阳明山。在总裁办公室下设九组一会：第一组分掌党务政治及党政关系事项，以谷正纲为组长、蒋经国为副组长；第二组掌管经济、财经、金融问题之研究，以吴国桢为组长，后由严家淦继任；第三组掌管军事之研究，以王东原为组长；第四组掌管宣传事项，由董显光任组长、沈昌焕为副组长；第五组掌管国际问题及党务、政治、外交事项，以陶希圣为组长；第六组掌管秘书及档案文书业务，以张其昀为组长、周宏涛为副组长；第七组掌管情报，由唐纵任组长；第八组掌管警卫事项，以施觉民为组长；第九组掌管总务，由陈舜畊任组长。一会是指设计委员会，由王世杰、俞大维、俞鸿钧、张道藩、吴国桢、方治、雷震、余井塘、胡健中、任卓宣等人组成。之后，总裁办公室成为国民党权力中枢，并逐步代替了国民党中央党部所有机构与工作。
总裁办公室中掌管党务政治的第一组，随后成为国民党改造运动重要推手，而具体负责操纵这项工作的是蒋经国。名义上，谷正纲是组长、蒋经国是副组长，但由于蒋经国的特殊地位，使得国民党的党务实权并不掌握在谷正纲手中，而是在蒋经国的手中。
12月11日，国民党中央党部正式在台北办公。30日，蒋介石召集陈立夫、黄少谷、谷正纲、陶希圣、郑彦棻、蒋经国等人，研讨党务改造方案。会议认为国民党中央执行委员会人数庞杂，意见分歧，功能不彰，运作不易。不如组织一灵便的小委员会，以精选之人组织之，此即以后改造委员会之张本。
为了彻底改造国民党，蒋经国甚至向蒋介石建议组建新党。蒋经国给他的建议是：“本党改造方针之不能实施，以人事关系，各干部成见太深，无法使之牺牲小我成全大我也，只有另组核心，遴选积极有为之青年受直接领导，秘密进行，树立革命新生之基础也。”蒋介石对此建议十分欣赏：“审阅经国新组织意见，先得我心也。”
因此，蒋介石在1950年初，不断地与身边亲信讨论，在“组建新党”与“重整旧党”、“彻底重建”与“改造”之间犹豫不定。到5月底，蒋介石都是顺着“重组新党”的思路进行的：“与其改选不能彻底，则不如重起炉灶，以老党让归老者，而自立新党以建立两党制，反能奠定宪政基础，以免研究系、民社党等借政党之名义捣乱革命基础也。”
然而，“重新组党”的想法遭到不少国民党元老的反对，他们认为坚决不能丢掉国民党这块牌子。对此，马超俊先生后来回忆说：
本党改造之前，吴稚晖、李石曾、李文范、吴国桢、陶希圣、朱家骅与我等多人，在阳明山开会多次，研究总统交下“本党是否更名问题”一案，当时有些人认为国民党的牌子已经发“暗”，最好更名。有人提议用“民主党”，有人提议用“农民党”，我则不以为然。我认为革命过程或有波折，但本党绝对无罪，不必更名。……我们更不应该将正统的中国国民党名称，舍弃不用。一些老同志都说：“马同志最富革命性”，对我备极称许。最后决定交专案小组讨论，由余井塘、吴国桢、陶希圣、黄少谷、雷震与我参加，我们再三研讨，决定仍保持国民党原名。
正因如此，蒋介石最终选择了改造。
1950年6月，朝鲜战争爆发，美国宣布协防台湾，蒋介石终于可以将思虑已久的国民党改造付诸实施。为统一思想、减少阻力，蒋介石确定分别与国民党内元老、反对实行改造的中央委员及确定为“改造委员”的人谈话。
7月22日，蒋介石主持召开国民党中常会临时会议，到会者50余人，会议主要内容就是讨论通过由蒋介石拟定的《本党改造案》。根据改造案的规定，国民党第六届中央执行委员会暨中央监察委员会停止行使职权，成立中央改造委员会代行其职权，中央改造委员会委员由“总裁”遴选。7月26日，蒋介石宣布由陈诚、张道藩、张其昀、谷正纲、郑彦棻、陈雪屏、沈昌焕、连震东、袁守谦、曾虚白、郭澄、胡建中、萧自诚、谷凤翔、崔书琴、蒋经国等16人组成中央改造委员会。
从中央改造委员会的名单来看，一大半是原来在国民党内名不见经传的新人，而大陆时期党政军各方面的显赫人物如阎锡山、何应钦、孙科、陈立夫、陈果夫、朱家骅等人却被排斥在外，但这些人却代表了国民党在台湾的党政军未来格局。陈诚、袁守谦是黄埔系，代表军方的力量；陈雪屏乃是陈诚的亲信，代表陈诚系的势力；张道藩、谷正纲等系党团出身，代表党务系统，也是CC系中的幸存者；张其昀、沈昌焕、曾虚白、胡建中、萧自诚等人原是蒋介石的侍从秘书，代表党的文宣系统；蒋经国、郑彦棻、连震东、郭澄、崔书琴都是原三青团的干部，与蒋经国关系密切。
在这16人当中，平均年龄只有47岁，除陈诚和袁守谦分别毕业于保定军校第八期和黄埔第一期外，其余均拥有很好的学历。如张其昀是哈佛大学的研修，陈雪屏是哥伦比亚大学毕业，萧自诚是哈佛大学政治学博士，沈昌焕是密西根大学硕士，崔书琴是哈佛大学哲学博士，谷正纲曾留学莫斯科中山大学、柏林大学，蒋经国是莫斯科中山大学、列宁格勒军政学院毕业，连震东是日本庆应大学毕业，其余诸人则分别毕业于复旦大学、圣约翰大学、北平朝阳大学等。
16人组成中央改造委员会完全取代了原来460人组成的第六届中央委员会，成为当时国民党的最高权力机关。当然，为了照顾国民党元老们的情绪，化解党内矛盾，蒋介石还特别设置了中央评议委员会，聘请吴敬恒、居正、于右任、钮永健、丁惟芬、邹鲁、王宠惠、阎锡山、吴忠信、张群、李文范、吴铁城、何应钦、白崇禧、陈济棠、马超俊、陈果夫、朱家骅、张厉生、刘健群、王世杰、董显光、吴国桢、章嘉、张默君等25位大陆时期地位显赫者，为中央评议委员会委员。但明眼人都知道，中央评议委员是位尊而无权的赋闲职位。
在大陆时期一直主持党务的CC系遭到了致命打击，陈立夫竟然连评议委员也没有当上，完全被蒋介石抛弃。对此，陈立夫后来回忆说：
政府迁台后，在生聚教训中，有一次在日月潭我向总裁建议说：“从本党历史看来，每次挫败后，急应把党改造一下，以期重振革命精神。”在建议时，我并陈言：“党未办好及一切缺失，最好把责任推给我两兄弟，将来改造后，我兄弟二人亦不必参加，庶几总裁可以重振旗鼓。”（对此意见总裁未予置词）。至于改造之事，总裁乃下手令命我召集小组起草方案，并指定十一人小组共同研究改造，经集会讨论多次后，复予以文字整理，然后呈交总裁。定期召开本党改造会议，在此期间，有二次中央委员谈话会议中，有几位委员老同志如陈肇英、李宗黄等表示：“我们的意思是认为本党之改造，至为必须的，最好由干部作建议，请由总裁决定执行，免得总裁为难，而且亦合乎民主。”此话一出，竟使总裁勃然大怒，深恐改造之事，一经讨论，将会节外生枝。当即愤然斥道：“你们如果不要我来改造党，即只有下面几种办法：第一，就让本党无声无息的如此下去；第二，你们要给我权，大家要相信我，用民主方式改造是不对的，如你们不相信我来改造，我就不管了，由你们去办好了！”此番震怒，大家都很诧异，直令在座者目瞪口呆，复听总裁继续说：“如果你们不相信我来改造，你们跟陈立夫去好了！”
那次会我有病未出席，后来有人告诉我这番话，我心中十分纳闷。总裁虽是在盛怒之下，但怎能讲出此话呢？这不是认为我是在主张民主和他对立吗？……当听了总裁这番话后，知道另有原因，盖总裁深知我不能得罪，一经得罪就会离去。这一暗示，遂坚定了我退隐的意志，从速离开那时的党政工作，出国赴美。
事实上，蒋介石对于台湾的党务早有考虑，他在日记中说：“对于立夫所领导之腐化分子、投机分子之中央常委，除了道藩、正纲、建中等可以希望其能团结者勉予容纳外，其他一律摒除，解散常会，成立中央改造委员会，并将旧日各部会彻底改组，而以老者聘为评议委员以慰之。”因此，早在1950年6月，蒋介石就开始对陈立夫置之不理，他在日记中说：“不欲约见立夫，警告其应自立自强与改革习性”，“立夫对党失败之责任，诚不能恕”。对当时的情形，蒋介石的秘书周宏涛也回忆说，蒋介石已下定决心抛弃陈立夫兄弟二人，并指示不准陈立夫再参加总统府一般会议。
陈立夫曾两度想晋见蒋介石，但蒋介石都没有置理，陈立夫又给蒋写信函，请求晤面，蒋介石始终未予以回应。蒋介石的态度，最终让陈立夫绝望了。8月4日，陈立夫以参加世界道德重整会议的名义出国，举家离开了台湾。
中央改造委员会的成立，一定程度体现了蒋介石改造国民党的决心，但最重要的还是排斥了异己势力，加强了蒋氏父子的权力。有人甚至认为，这是国民党的党务由CC系转向蒋经国主导的标志。
