张之洞不甘心于向外国列强低头，他在担任两广总督期间，头脑中装满了各种各样奋发图强的计划和方案。
光绪十二年（1886年），张之洞兼署巡抚之职。他针对当时两粤边防的情况，积极进行改革，并写成《沿海险要图说》一书献给清朝政府。
光绪十三年（1887年），张之洞创建兵工厂，因技术等方面的问题，该厂最初只能制造炮弹，经过不断的学习，该厂后来居然能生产小型武器。张之洞设立了广东水陆师学堂，聘请一些年轻有为的留学生到学堂执教，为清政府培养了大批军事人才。同时，塌还向清政府上疏要求清政府每年拨专款为水师购买兵舰，以增强防御力量。
光绪十五年（1889年），张之洞和几位官员、商人出资创办了"广雅书院"。当时，许多知名学者受聘到书局从事编辑或校对工作。该书局成立后，相继出版了约176种书。广雅书院所取得的成就有目共睹，因此人们称创办书局的张之洞为张广雅。同年张之洞在广东设立了中国第一家近代钱庄。
对于张之洞旺盛的精力和清正的为官之道，两省人民给予了很高的评价，但是两省人民认为张之洞如此耗费必然会造成省库匮乏现象。但是当张之洞离职，李瀚章接任广州总督府的时候，却惊异地发现张之洞离去时的财政状况要比张之洞上任时好得多。
在此期间，清政府统治阶级内部南北之争日趋激烈。南党首领翁同和极力反对北党张之洞的所作所为，如果不是醇亲王从中干预，张之洞的很多改革方案早已被翁同和否决了。由于张之洞离开广东时留下了巨额库银和很多重大改革成果，这多少为北党挽回了一些因张佩纶马尾战败而失掉的声誉。
不久，海军衙门奏请清政府修筑京通铁路。铁路建设最初始于李鸿章管辖之下的直隶省。张之洞准备将清政府的现有铁路从天津延至通州。对此，台谏官员们极力反对，他们认为延伸铁路不但为外国列强入侵大开方便之门，还会使大批驿夫失业，因此坚决请求停止延伸铁路的计划。
为了便于用兵，翁同和请求清政府在边地试修铁路；为了便于漕运，徐会澧请求清政府改修德州至济宁段铁路。
张之洞认为，修路的主要目的是为了运输土特产品、重视民生，其次才是征兵、运饷之事。他上疏请求清政府修建卢沟桥至湖北汉口镇的铁路。张之洞认为这是干线枢纽所在，修建这条铁路的好处有：一、这条铁路位于内地，不会引敌而入；二、铁路所经之地原野广阔，避开了百姓们的房屋；三、经济繁荣的地方可以多设站，可使役夫商客有利可图；四、此路能够控制八九省之衢，人货辐辏，可以使清政府饷源富足；五、如果近畿发生事情，淮、楚精兵可以迅速到达；六、可以为太原的煤铁提供便利的运输；七、不影响漕运。
光绪十五年（1889年），清政府命张之洞到武昌担任湖广总督，修筑铁路。张之洞估计修筑这条铁路需要三千万元，但清政府只筹集了二百万元。次年，这笔资金又被挪用。张之洞修筑芦汉铁路的计划被迫搁置。
张之洞任职湖广总督长达18年。上任后，以雄心勃勃的计划和令人瞩目的成就著称于世。张之洞得知大冶产铁，江西萍乡产煤，就在离开广东之前，购买了一套先进的铸铁机器，在汉阳建立了汉冶钢铁厂。
后来，由于缺乏资金，张之洞被迫出售汉冶阳萍铁厂，铁厂被大实业家盛宣怀购得。张之洞见荆襄非常适宜种植桑、棉、麻，而且有丰富的皮革，便设立了棉纺厂、纺纱厂、制革厂等。他还精心设计了一项兴修堤坝的工程，使大批劳动力得到了就业机会。
张之洞请德国人训练了一支新式的小型模范军队。他还创办了各式学校，并将优秀的学生送往日本留学。虽然张之洞常常因在新式企业上大量投入而备受指责，但他的财政改革却取得了很大的成效。
光绪二十一年（1895年），中日甲午战争期间，清政府命张之洞前往南京担任两江总督。张之洞担任两江总督时，购买新式的后膛炮，不断向北方的战场运送给养和大批新兵。他极力主张抗战，反对李鸿章等人的议和行为。在与日本签订和约以后，张之洞极力敦促清政府修筑京汉铁路。
