张廷玉虽不是史学家，却在清代官修史书的编修工作中起了重要的作用。康熙六十一年（1722年）十二月，雍正帝擢张廷玉为礼部尚书，命他充任纂修《圣祖实录》的副总裁官。雍正元年（1723年）七月，张廷玉又充任《明史》总裁官。
《明史》是二十四史中最后的一部，其编纂前后数次，历九十余年之久。早在顺治二年（1645年），清廷就命冯铨、洪承畴等人负责纂修《明史》。但因当时政局未定，人才缺乏，史料不备，没有什么成效而告终。康熙十八年（1679年）三月，清廷再一次开馆修《明史》，广征天下士人，录取了朱彝尊、潘耒等50人任纂修官。只有这一次，才正式商讨方法，确定体例，分工负责，开始了实际的编纂工作。但由于其间人事屡变，影响了进程，直到康熙末年，《明史》初稿才大体完成。康熙六十一年（1722年），已致仕的前编纂总裁王鸿绪就在此初稿基础上稍加改动后进呈给皇上，这就是世传的《横云山人明史稿》。但是清朝统治者对这部《明史稿》仍不满意，于是就有了雍正元年（1723年）雍正帝命张廷玉、朱轼为总裁续修《明史》的事。
此次纂修以王鸿绪的《明史稿》为蓝本，进行增删修改，变通体例，订正错漏。身为总裁，编修的责任自然压到张廷玉肩上，纂修官们有了疑问，都去向他询问，他总是耐心地给他们解释、厘定，指出修改的原则和标准。这一次修改历经13年，至雍正十三年（1735年）十二月，正式告成。乾隆帝即位后，命其书付武英殿刊板，至乾隆四年（1739年）七月刊印完毕。张廷玉进呈给乾隆帝，这就是今日通行的《明史》。全书分本纪24卷，列传220卷，志75卷，表13卷，目录4卷，总计336卷。张廷玉虽为《明史》的定稿做了许多工作，但他很谦逊，在进书表中，他尽述承前人遗稿修订成书的真实情况，既不为自己贴金，更不掠人之美。他在《上明史表》中说：“先是康熙中，户部侍郎王鸿绪撰《明史稿》三百一十卷，颇称详瞻。廷玉等因其本而增损修改，其中各志仍从旧例，只是略有变通……复经圣上睿裁，始成定本”，表中还讲到，在编修过程中，“汇聚官私的记载，核实新旧见闻，签帙虽多，但抵牾的地方很多。唯有旧臣王鸿绪的史稿，经名人三十年的用心，首尾兼具，事实精详。”这些话充分肯定了前人的劳动成果，也从中可看出，张廷玉在编纂工作中确实花了很大的工夫，对史稿的优劣、特点了如指掌。
作为统治阶级的重要官员，张廷玉在主持纂修《明史》的过程中，站在清统治者的角度上，对书中有关民族思想、民族战争、异端思想的内容进行了大量删削，对于纲常名教思想则极尽渲染之能事。但总体而言，《明史》基本反映了明代三百年间阶级矛盾和统治阶级内部斗争的情况，对于统治阶级人物的评价，一般都能做到功过并举。此外，《明史》在编纂方面有不少长处：史料依据丰富，文字简练优美。可以说《明史》是唐以后官修“正史”中比较完善的一部史书，张廷玉不无功劳。
除了编修《明史》外，张廷玉还广泛参与了清代其他官修史书的编纂。雍正元年（1723年）十月，他充任国史馆总裁官，雍正二年（1724年）五月又任《会典》总裁官。雍正六年（1728年）正月，张廷玉上疏雍正皇帝说：“内阁和各部院奉旨所办的事情，都交由起居注登记档案，只有八旗事务，按例不交起居注，所以无法记载。”张廷玉恳求雍正帝让八旗事件也照内阁部院呈送史馆，以便于载入记注。雍正十年（1732年）十二月，《会典》修成，张廷玉官进二级。雍正十三年（1735年）正月，张廷玉又充任《皇清文颖》总裁官。这年十月，朝廷下旨纂《世宗实录》，让张廷玉任总裁官。乾隆元年（1736年）张廷玉充任纂修《玉牒》总裁官。从张廷玉担任的如此众多的纂修总裁职务来看，他修史的功绩就不言自明了。
