蒋介石起家于枪杆子，深知兵权的重要性。因此，早在大陆时期，蒋介石就曾让蒋经国担任青年军总政治部主任和国防部预备干部局局长，负责青年军的政治工作和复员训练。迁台后，蒋介石又故伎重演，先是让蒋经国出任“国防部”总政治部主任，掌握全军的政治工作，后是担任“退辅会”主任委员，负责退除役官兵的安置工作。蒋经国对这两项工作，都做得有声有色，成效显著。同时，他也在军队中赢得了一定声誉，加强了他对军队的影响力。然而，如果说，他仅凭借这些工作就掌握了军队，未免太过夸大。事实上，直至他出任“国防部长”后，蒋经国才真正算是掌握了军队。
当然，迁台之初，蒋经国除了掌握军队的政工外，也曾参与重大的军事行动，但往往是作为“总统”蒋介石的代表进行的。如在50年代，蒋经国曾多次代表蒋介石到金门、马祖等外岛前线视察，并以“钦差大臣”的特殊身份传达蒋介石的作战命令。这样，既加强了蒋介石对前线部队的监控，也一定程度提高了蒋经国在军中的影响。1955年2月，台当局决定台军自大陈岛撤退。撤军前，“国防部长”俞大维、海军总司令梁序昭齐集大陈岛，蒋经国也奉蒋介石之命前往大陈岛前线“坐镇”，监督撤军。8日，驻守大陈岛的国民党军开始实施由美国人拟定的撤退计划，直至12日台军全部撤出，蒋经国才离开。
1958年8月23日，解放军开始炮击金门，第二次台海危机爆发。期间，蒋经国曾多次冒着生命危险往返于台北和金马之间。在炮战前，蒋介石已获知解放军可能对澎湖、金门等地实施军事行动。他在8月6日的日记中说：“其最近必有一次军事攻势无疑，但其性质仍未敢抱有武力彻底解决台澎之决心，其意或只在金马乎。”为此，蒋介石“在台北召开军事会谈，指示作战计划方略”，决定“第三十四师移驻马公。金马防务指示，应准备匪以原子武器力量轰炸金门，其司令部与预备队应全部进入地下”。8月9日，蒋介石与蒋经国谈金门军事要点，并令其连夜飞往金门传达重要指示。8月18日晚，蒋经国又陪蒋介石巡视马祖与金门前沿防区，直至20日晚才返回台北。蒋介石在日记中说：“此次视察马祖、金门，自觉乃益甚多，对将来作战补益必大也。”
炮战开始后，驻金门的国民党军伤亡惨重，物资匮乏，军心浮动。为了安抚军心，除了不停地给金门补给物资外，蒋介石还多次派蒋经国到金门前线。9月14日，蒋经国携带蒋介石的亲笔手令飞往金门，对金门守军进行慰劳，并向金门防务司令胡琏传达蒋介石的军事部署。蒋介石在日记中说：
使经儿往金门，传令伯玉，以资慰劳。九时半，经儿受命后即上飞机起飞马公，再乘舰赴金门也。别后，始知其未带一人同行，甚念。
在整个金门炮战期间，蒋经国曾多次冒死往返于台北和金马前线，代表蒋介石慰问驻军官兵。对于蒋经国的冒死精神，蒋介石非常感动，他在日记中表示：
近来最足自慰的一点，就是经儿随身协助一切，甚感父子共同作战与相依为命之精神、功效比任何部属协力工作之成效啻十倍。
蒋经国多次往返金、马前线，也得到了丰厚的回报。1960年，台湾当局“论功行赏”，蒋经国升任“陆军二级上将”。1964年3月，蒋经国又以“政务委员”的身份兼任“国防部”副部长。
有的人对蒋经国任“国防部”副部长的职务不甚理解，因为他任“退辅会”主任已属“内阁阁僚”，任副部长属于降职。其实不然，出任“国防部”副部长，正是蒋经国步入权力核心的重要一环，也是他在接班之路上迈出的实质性一步。
由于蒋经国身份特殊，任何有关他的任职，外界必然会有诸多猜测和议论。蒋介石让蒋经国出任副职，是想让经国以低姿态、不被人注意的情况下，稳扎稳打，壮大实力而绝不张扬，减少小人之搬弄及父执辈之口舌。事实上，对于蒋经国而言，任“正职”还是“副职”只是个形式，反正他到哪个部门都是他说了算，他在什么位置，权力必是往什么地方倾斜。只是到“国防部”任职，才能名正言顺地执掌军权。何况当时的“国防部长”还是蒋经国的儿女亲家俞大维。
俞大维是导弹专家，也是一位技术性官僚，对蒋介石极尽忠心。蒋经国一向对俞大维非常尊重，常以晚辈自居，称俞为伯伯。1960年，蒋经国之女蒋孝章与俞大维的儿子俞扬和结婚，两人又成为儿女亲家。因此，蒋家与俞家关系非同一般。俞大维也清楚蒋介石的“传子”之情，所以蒋经国到“国防部”就任后，俞大维便以“身体状况不佳”为由，将一切要务均交付给蒋经国办理。1965年，俞大维又以养病为由，自动让贤，直接向“行政院”院长严家淦、“总统”蒋介石恳辞“国防部长”职，力荐蒋经国继任部长。对此，《联合报》曾有过很生动的报道：
俞大维这次请辞，并推荐他的副手继任他的职务的消息，经晚报发表后，外界的反应至为良好，人们相信，能干而且负责的蒋经国将军，由于十几年来，他与三军的历史渊源及其卓越贡献，包括他先后在国防部总政治部、退除役官兵辅导会，以及“国防部”副部长任内的辉煌成就，现在主持“国防部”，实是最理想的人选。
1965年1月13日，蒋介石正式颁布命令，特任蒋经国为“国防部长”。至此，蒋经国方才名符其实地掌握台湾的军权。虽然台湾的“国防组织法”规定，军队的统帅权由“参谋总长”和“国防部长”分享，然而在国民党政权的任何机构，官职的权限大小，均因人而异。如同长期以“副”代“正”一样，蒋经国出任“国防部长”后，“参谋总长”就逐渐成为他的幕僚。
1965年3月8日，蒋经国在主持“国防部”会议时提出其施政理念：（一）构成严密坚固的台澎金马防线；（二）要准备一股强大的、机动的打击兵力；（三）加强有力量、有权威的政治作战与情报作战系统；（四）巩固台湾省兵员动员的基础；（五）扩充自己的兵工厂建设；（六）从事原子能的研发；（七）扩展对大陆及在大陆的抗暴运动；（八）改善军人生活（九）培养革命实践军风，提高军事行动的功效。
蒋经国任“国防部长”期间，深入基层，事必躬亲，把军事战备工作搞得热火朝天，一方面积极在军中宣传“反攻大陆”，另一方面加强对大陆进行偷渡、空降、派遣和侦察飞行等活动，收集大陆情报。在他出任“国防部长”的第一年，派出的偷渡特务就达18批42人次，各种特务飞机对大陆的飞行达45批50架次。
“文化大革命”开始后，蒋经国密切关注大陆的政治、社会情势，他认为“现在这个时期，国内外整个世界局势，都有了很大的变化；可以说，这是我们十八年以来，最重要的关头”，也是“反动大陆”的最佳时机。1967年，他曾准备利用“文化大革命”造成的混乱局势，以特种兵、空降兵为主袭击大陆。蒋经国制订的有关方案叫“王师”计划。根据1967年初提出的《王师一号计划》，国民党军队将对闽浙粤三省沿海地区和闽粤交界处实施“加强军”空降，两栖登陆作战、3个空降营和1个炮兵营、1个空军战斗机联队和1个运输机联队，外加所需的海军运输、巡航舰只。《王师二号计划》则是准备用30架C119运输机运送1个空降营和2个特种作战大队偷袭大陆。《王师三号计划》准备空降1个连和1个特种作战大队偷袭大陆。但由于美国的反对，蒋经国的“王师”计划最终未能付诸实施。
在出任“国防部长”期间，蒋经国还负责秘密研制原子弹。1964年，大陆的原子弹、“东风二型”导弹研制成功后，蒋介石深恐台湾遭受大陆的核武器攻击，他除了在官邸与行馆修筑钢骨结构及配备厚钢门的防核防空洞，在军队中不断进行防止核生化攻击的战术操演外，还决心启动原子弹研制计划，与大陆展开竞赛。1965年4月，蒋介石指示时任“国防部”部长的蒋经国成立“石门科学研究院筹备处”。7月1日，筹备处从台北市区搬到“石门营区”，全称也改为“中山科学研究院筹备处”，正式展开原子弹研制计划。蒋经国前后主持筹备处工作汇报19次，是原子弹研制计划的实际负责人。
在筹备期间，蒋介石企图邀请吴大猷指导原子弹的研制，并将发展原子弹的内部文件交给了吴大猷审核。然而，出乎蒋介石意料之外，吴大猷却认为台湾腹地狭小，在战略上不利于从事核子战争，因而强烈反对台湾发展核武器。蒋介石接到吴大猷的反对意见后非常生气，他在日记中说：
留美科学家如吴大猷者，自由不羁，只知自己个人威望，而不知国家利害，亦不审政情艰巨与国际环境，殊为可叹。此种成事不足，败事有余之学者，建设工作尚未开始而先被破坏，殊为可痛，奈何之何哉。
昨日上午，以吴大猷发表政策性之科学十年建设之经费数字，且对国防科学之经费特别提出，此为泄露国家机密，且擅自发表国家政策，以引起“匪共”与国际之惊忌，不胜忧闷。下午，见静波、少谷、经国，商讨如何减轻吴言乱语之分量与国际之疑忌，并取消下午约吴之茶会，对吴作不严之教，未知果能使之觉警。
尽管遭到吴大猷的反对，蒋经国仍继续推行原子弹研制计划。1969年7月1日，“中山科学研究院”正式成立，设四个研究所：第一研究所主要负责研制原子弹；第二研究所研发火箭；第三研究所研究电子；第四研究所研发军用化学。此外，还设置了计划、设施供应、行政、主计等四个后勤支持组。然而，随着中美关系的改善，美国政府逐步调整原先暗助与放任台湾发展核武的政策，在美国的干预下，台湾发展核武的计划最终夭折。
1968年至1969年，蒋经国曾以“国防部长”的身份向美方多次提出购买美国的FH。e型战机，以确保台湾空军的优势。然而，尼克松上台后，积极谋求与大陆改善关系，坚决反对蒋介石的军事反攻计划，拒绝将新型飞机卖给台湾。为此，蒋介石曾令蒋经国多次与美方交涉，却毫无结果。蒋介石先后在日记中记载了此事，他说：
与经儿谈FH。e型机，对美使谈贷款购买。试谈结果，知美似不愿以此长程战机供我，盖恐我用此反攻大陆也，可鄙。
对美本已绝望，何必因此次FH案几遭此无端耻辱，越想越愤，故近夜连续失眠。受此痛苦，此为平生各种失败之中皆光明正大，无愧于心，而惟此次之耻辱失败之甚，故心不自安也。
没有美国的大力支持，“军事反攻”是毫无希望的。为此，蒋介石和蒋经国逐渐放弃了“军事反攻”计划，而是提出了“七分政治，三分军事”的反攻原则。他在1969年2月的演讲中说：
“总统”的军事思想是七分政治，三分军事。现在很多人不了解这个道理，以为我们六十万常备军进攻大陆，如何攻得下，我们要明了今天大陆局势的发展，只有两个可能性：第一，大陆反毛反共势力已经同我们取得联系，一齐起来行动；第二，我们“国军”无论从海峡或者西南方或者从北方进攻，只要踏上大陆，大陆就开始革命，所以七分政治、三分军事的重要性在这里。……我们“反攻大陆”一定要采取七分政治、三分军事的办法。
蒋介石在日记中表示：“大陆光复问题，如其内部不能有军事反攻之变化，或其与俄共不发生军事战争，则我原定军事反攻，以光复大陆之方针应作重新考虑，以弹性之方针为要，总以保存‘中华民国’之‘国防’与三民主义之实施为原则，至于用政治或军事之解决则是手段而已。”
尽管“反攻”无望，但蒋经国出任“国防部长”期间，对国民党军队的建设还是起了不少作用。对此，蒋介石曾称赞道：“数年来对于军事基本建设之政策，已有从头做起之口号，而由国防部如计进行，逐条实施，已见成效”，“建军制度自经国接长‘国防部’以后，五年以来，大体在内容上皆较过去进步而充实，故基础已臻于稳定。”1970年4月13日为蒋经国62岁生日，蒋介石在日记中记载道：
回忆1968、1969年之间，经儿任“国防长”时，军事建设乃自来台所最大进步之时期，期间以部队整编，自六十余万官兵之数减至五十四万之名额，而且其裁减者均作有计划之安置，并未有任何不利事件之发生，此为其对国家最大贡献之一。今日为其六十二岁，特记之。
可见，蒋介石对蒋经国在“国防部”时期的成就还是非常满意的。而蒋经国在“国防部”正、副部长的五年时间里，已完全控制了国民党军权，这就为其权力交接奠定了坚实基础。
