1949年10月，蒋介石即决心彻底改革政工制度。目标包括：确立政治幕僚长制度；确立监察制度；加强保防（情治）工作；恢复军队党务；实行经理、赏罚、人事、意见等“四大公开”，革新政治训练。蒋指定项目小组研究政工改制方案，就政工主官兼部队副主官制及各项业务实施计划和“敌后”政治工作纲领等，拟定具体方案。方案计划将政工局改为“国防部”总政治部，内部组织分设政训、新闻、民事、监察、“对敌”工作等五局，各总司令部及师以上单位设政治部，团营设政治处，连设政治指导员。对此，蒋经国在日记中说：
父亲着手研拟党政军制度纪律之建立，并制定经济、社会、教育等政策与其实施方案。父亲认为：“军事教育应着重下列三点：（一）军队战胜之基本条件在以主义与信仰为军人之灵魂；以纪律、组织、理论与学术为精神；以主管长官与党员（忠实）为骨干；以政工与党部为核心（负责与示范）。（二）战争目的：为谁而战？为维护民众自由，保卫国家独立而战；为实行三民主义，扫除革命障碍，提高人民生活，减租减息，反对剥削，反对专制压迫，反对侵略，反对汉奸而战；为平均地权，耕者有其田，实现民生主义而战。（三）军队生活方式：官兵一体，生活一致，经理、人事公开，一切都是从人民及国家民族利益着想。”
可见，蒋介石对军队的建设已开始从思想政治的高度加以反思了。1950年1月，他还强调：“今后政工人员必须由其政工机构本身逐级甄选派任，决不能再由各部队长任意撤换，滥竽充数。务使其能切实负责，襄助部队长为其所部官兵政治教育的负责执行者，使全体官兵能为主义而战，为党国而战。”
1950年3月，蒋介石“复职”以后，加快了政工改制的步伐，将“国防部”政工局改为“国防部”政治部，蒋经国出任“国防部”政治部主任。5月1日，“国防部”政治部改称为“国防部”总政治部，仍由蒋经国任总政治部主任。蒋介石选择蒋经国担任总政治部主任，除了血缘上的关系便于操控外，也与蒋经国的经历有关。蒋经国曾于1925年10月入莫斯科中山大学学习，1928年秋入列宁格勒军政学院学习，做过工厂的学徒、厂长。1937年回国后，曾任国民党赣南行政督察专员、三青团中央干校教育长、青年军政治部主任、国民党台湾省党部主任，工作作风硬朗，甚至有“左”倾色彩。因此可以说蒋经国不仅熟悉苏联军队制度，而且还具有训练青年的丰富经验，是国民党军队重建政工制度的最理想人选。
4月1日，蒋经国正式就任“国防部”政治部主任职。同日，“国防部”颁布政工改制令，并附《国军政治工作纲领》等五种改制法规。依据纲领规则，政治部为“国防部”幕僚单位，承参谋总长之命，主办军队政治业务。在隶属关系上，与1946年的规章相同，“国防部”负责军政，“参谋总部”掌管军令。各军事机关、学校及部队师以上单位设政治部，团、独立营及军医院设政治处，营、连、独立排设政治指导员。各级政治部依业务繁简，酌设组织、政训、监察、保防（情治）、通讯、军报社及各种工作队等。
政治部主任直接隶属“参谋总长”，负责指导策划政治工作。“国防部”对所属各级政工单位下发的命令文告，政治部主任应该副署，在主管业务范围内可以对外行文。政治部主任为军中政治工作主持与策划者，有监察军容风纪，督导军法执行，参与作战计划，协导军事兴革及指挥所属各级政工单位的权限。军事机关、部队、学校、医院，一切有关政治命令的文告，政治部主任均应副署。师以上政治部主任，在战地上基于军事需要，得指挥县市以下地方行政机构、社团，以配合军事行动。对新收复县区，并得组织政务办事处，实施军事管制，维持临时县市政务运作，俟地方行政力量恢复后，即行结束。
改制后的各级政工单位，工作范围包括组织、政训、监察、保防（情治）、民运等事宜。在职权上，政治部主任对主管业务有主动策划及副署权，对所属单位有指挥监督权，对人员的任免、奖惩有签核权，对政工事业费有支配运用权。自1950年下半年起，每年制订年度工作计划，以为政治部及其所属各级政治部全年工作的依据；每年均召开一次全军政工会议，检讨过去一年工作得失。
蒋经国出掌总政治部主任后，深知责任重大。3月26日，他写信给蒋介石说：“儿已自昨日起在政治部工作，深知此时为何时，亦知此地为何地，更知此工作之意义与重要性。儿决抱必死之决心，从事于职务。”
为了推行政工制度，蒋经国对他的政工人员说：唤醒军队的革命灵魂，恢复军队的革命信念，亦就是用三民主义思想，和国民革命传统的革命精神，来武装部队，强大部队和团结部队，使得全体官兵都能一心一德，服从最高领袖，共同奋斗，中兴国家。并提出了政工改革的六大目标：（一）建立政治幕僚长制；（二）确立监察制度；（三）加强保防（情治）工作；（四）恢复军队党务；（五）实行四大公开；（六）革新政治训练。
为了达到上述目标，蒋经国领导的政工系统，首先对军队士兵灌输“反共复国”的理念和效忠于蒋介石的教育，并不断地举办训练班、检讨会、讲习会、周会、茶会，编印各种政工教材和资料，鼓励士兵和士兵之间、军官和军官之间、官兵之间互相监视，互相揭发，从而有效地加强了对军队的控制。还亲自带领政工干部深入部队基层，了解部队动态，研究对策，拉拢干部，收揽人心。
其次，蒋经国在军队中开始建立国民党组织，贯彻“以党领军”的原则。1949年底，蒋介石就指示，今后反共抗俄的重要措施，是要本“以党领军”的原则，健全军中党的组织，加强军中思想领导。国民党改造运动开始后，中央改造委员会还拟具了军队党务改造暂行实施办法，以期在军中推行党务组织。为了加强党在军队中的力量，建立党在军队的领导核心，蒋介石决心建立特种党部改造委员会，专门负责此事。1951年1月，特种党部改造委员会决议通过蒋经国出任军中特种党部书记长。之后，蒋经国通过国民党军中特别党部一方面在军队中吸收党员发展组织，另一方面则是透过政工的政治侦查以确定军队对党的服从，让军中所有重要的军政措施都必须向党组织报告，并接受党组织的考核。经过蒋经国的努力，至1952年，军中党员的人数激增，在台湾的60万军队中已有国民党党员20万。
其三，在军中实施“保密防谍”工作。“国防部”总政治部组建后，享有组织、政训、监察、保防（情治）、民运等项大权。从1950年开始，政治部第四处主管保防（情治），实际等于攘夺了“国防部”保密局的业务。在“保密防谍”的口号下，透过政工机构控制的各种传播媒介，一面诋毁丑化中共，一面出动宪警及特工人员在军队中大肆搜捕中共“匪谍”。如1950年11月，他给蒋介石汇报总政治部的“保密防谍”工作时说：“政治部在马公破获一由日本共产党员领导之匪谍案，该匪已押解来台北，政治部严密审办中，又在总统府警卫团破获一匪谍机关，人犯已拘押，亦在处理中。”
其四，整顿军纪，推行“四大公开”。大陆时期，不少国民党军官爱财如命，虚报兵力吃空额，倒卖军事物资赚钱，导致军纪废弛，部队战斗力下降。为了整顿军纪，蒋经国领导的“国防部”总政治部于1950年6月11日颁布《国军纪律须知》。《须知》由“四大纪律”和“爱民守则”两大部分组成，前者包括服从命令、严守秘密、缴获归公、秋毫无犯等内容，后者有说话要和气、买卖要公道、尊重妇女、不打架不争吵、不损失庄稼、不砍伐树木、借住房屋要先商量、尊重风俗、借用东西要送还、损坏东西要赔偿、乘坐车船要守规则、没有准假不外出等规定。蒋经国还在部队中全面倡导“人事公开、经费公开、意见公开、赏罚公开”，凡涉及人事、经理（财政）、意见、赏罚问题，必须经过公开讨论，有士兵参加，部队长不得徇私。至此，部队长不再管预算，军费开支必须将账单交由政工部门细查，军师长再也不敢吃空缺，贪污风气最终被遏制。
蒋经国推行的政工制度，不仅从人事上，而且从制度上改变了国民党军队的格局，一定程度提高了国民党及蒋介石父子对军队的控制力，改善了军队的官兵关系，提高了军队的思想素质。江南认为：“新制实施后，对军队的福利、纪律以及战斗力的改善，有显著贡献。”国民党军将领刘安祺认为，政工制度的推行，防止了握有军权的指挥官挟军队以自重，军队不再是效忠个人，也不再是某人、某地的子弟兵了，而完全地接受党的指挥与领导。他说：
我以军队党员的身份敢告诉各位，目前国军是进步了，完全是党的力量，今日的军队无论是大小事情，尤其重要决策，统统要透过党的组织领导，才有今日的成效。
然而，目睹政工制度推行的吴国桢则有不同的感受，他后来回忆说：
改组后的国防部总政治部可以任命每个师、旅的政治军官，甚至下至连的政治军官，表面上这些人负责训练和给部队灌输某种思想，但实际上都是军中的密探，蒋想让自己的儿子经国以这种方式控制军队。从旅长一级开始层层改组指挥部，无论何时，蒋如要撤换一个人，他会要指挥部提名，但实际上都是由经国筛选的。后来通常须有经国的批准，军官们才能被任命司令官。这样到1951年底，蒋介石就能确信所有的军官，我是说旅长以上的军官，都是他和经国的人了。
值得一提的是，蒋经国推行的政工制度也遭到了美国军事顾问团的反对。1951年美国军事顾问团到台湾后，对台湾军队以美式装备进行整编训练，美方的理念与蒋介石父子将军队牢牢控制在自己手中的想法有极大的冲突。蒋、美双方在政工制度上的矛盾一下就显现出来。蒋介石甚至怀疑美国对台湾军队设政治部的批评，是美方要直接控制台湾军队架空自己，他在日记中说：
美国军援代表团四月派来以后，以六月底韩战停火会议开始以来，对于军援并无一枪一弹之到来，而且对我经济与政治之控制，要求无已，尤其要求取消政工制度，必欲动摇我中央军事、经济之控制权，移于总司令部，以便其军援团之控制也。幸政策坚定，不为其外物所动。
1952年，美国驻台陆军武官包瑞德与美军顾问团蔡斯少将又对国民党军队中的政治部发起批评，但遭到了蒋介石的坚决抵制。为了向美国表示自己的决心，以阻止其批评，蒋甚至“要求美使撤换包瑞德，以全邦交也”。参谋总长周至柔也明确向蒋介石表示，认为“对美军援顾问团不能稍存依赖或畏惧心理，凡吾人能接受之建议当毫无保留而接受之，凡不能接受者，例如蔡斯将军建议派遣顾问小组驻保安司令部，以及其建议调整参谋系统组织，以取消我各级政治部之机构，当可坦白表示严正拒绝”。最后，蒋介石只同意美国顾问团在其政治部内专门派驻顾问，巡视政治部的工作，但拒绝取消政工制度，认为美国军事顾问团提出“反对政工制度，要求改正”的行为是“无理干涉”。
对于美方的指责，蒋经国抱着合作的态度，耐心与美方沟通。对于蔡斯所提出政工人员干涉指挥权，以及政工与参谋混淆的质疑，蒋经国也做了相应的改进措施。总政治部取消了政工主官之副署权，规定监察人员只能秉承部队长命令对下级实行监察，禁止越级指挥与越级报告，提高部队长之威信等。1953年9月，蒋经国出访美国时，就政工制度多次向美方说明解释。之后，蒋经国又在回答美国之音的提问时再次对政工制度作了回应，他说：“美国和中国的军队，虽然因为历史、环境和条件的不同，各有其不同的组织和方法。例如：在美国军队里提高士气的工作，是在各参谋单位里分别去做的，而中国军队这一方面的工作，则是集中在政治部做的。但是，精神教育的目的，是相同的，那就是：提高士气，击败敌人。”在蒋介石的坚决抵制和蒋经国的耐心沟通下，美方对政工制度的指责有所改观，对于政工制度提高士气的作用也有了一些了解。
之后，蒋经国多次强调政工制度的重要性。1954年3月27日，政工干校举行第四期开学典礼，蒋经国在典礼上对全体学员表示：政治部所负的责任，用很简单的话来说，就是“统一思想”、“严密组织”和“振奋精神”。政工的成败，决定部队的成败，部队的成败，也就是决定革命的成败。因此，他强调：“我们今天要反共抗俄，在国军部队里面，一定要保持着政工的特质，使政工能发挥更大的效果。今天我们所怕的、所忧虑的、所惶恐的，并不是像吴国桢这一类的人和中共，也不是任何人对我们的攻击和误解。但我们今天最感不安和恐惧的，就是我们还不能把政工做好。”蒋经国离开总政治部后，仍然始终关心政工制度。1955年2月，他对政工干校师生说：“最近我常常听到一般人讲到政工，无论人家怎样说好、说坏，只要人家谈到军队政治工作，我总是非常关心，人家所说的每一个字、每一句话，都会打动我的心。当然，今天我已经离开了总政治部的工作岗位，但是总感觉到对政工、对部队、对同志、对革命事业，负有无穷的责任。”
