张廷玉（1672—1755年），字衡臣，号研斋，安徽桐城人。张廷玉出生于京城时，任大学士的其父张英正任翰林院编修。张廷玉康熙三十九年（1700年）中进士。
张廷玉中进士后，初授庶吉士，在之后的二十年时间里，他的仕途坦荡，一帆风顺。他曾先后出任检讨、日讲起居注官、司经局洗马、右庶子、侍讲学士、内阁学士和经筵讲官，直至康熙五十九年（1720年），又被授予刑部右侍郎官职。
在任刑部侍郎期间，张廷玉处理了一件大案。康熙五十九年（1720年），山东盐贩王美公等人纠合了一批无赖之徒，倡立民间宗教，率众打家劫舍，烧杀抢掠，横行无忌，导致南北交通要道被阻断。同时期，青州地区也发生类似事件。清廷以为是汉族人民的反清运动，十分震惊，令巡抚李树德等文武大僚全力剿捕，共捕获150余人。康熙帝命张廷玉与都统陶赖、学士登德前往山东共同勘治。临行前康熙帝对他们三人说：“奸民聚众生事，妄自称名称号，图谋不轨，你们审讯清楚后，该杀头的立即在济南正法，该发配边疆的迅速发遣。”张廷玉至山东后立即升堂审讯犯人，仔细审察犯人供词及与案情有关材料，对事件的经过有了大致了解。他说：“这件事只能判作盗案，而不是反叛案。盗贼们自称‘仁义王’‘义勇王’‘飞骰将军’，就‘飞骰’二字看，不过是市井之徒的绰号罢了，没有必要深究。”于是张廷玉就按盗案了结此案：斩首7人，发配35人，肉刑18人，其他由于残废、疾病而免予刑事处分的有72人，无罪释放25人。当初审问时，盗魁供出党羽2000余人，张廷玉考虑到罪在首恶，只就按察使捕送来的150余人审讯结案，不牵连其他人。张廷玉将此案完满处理后，受到康熙帝的称赞，第二年将他调为吏部侍郎。而时人也因此案称颂张廷玉为人仁慈宽厚。
雍正即位后，命他复直南书房。他和左都御史朱轼担任顺天府乡试考官，这是一个很敏感的职务。张廷玉深知此事的严肃性，坚决维护考风的严正，做到了临考严格、阅卷公正、发榜审慎。回朝后，雍正嘉奖他的公允和审慎，授给他太子太保之衔，兼任翰林院掌院学士，不久又调任户部尚书。清初，江南一些百姓不堪忍受满洲人的统治与剥削，逃入深山密林之中开荒垦种，结棚而居，号称“棚民”。这些棚民不受清朝官府的统治，不向清廷纳税，尤以浙江衢州、江西广信、赣州，闽、粤等地的棚民为众。天长日久，这些棚民生息繁衍，人数越来越多，渐渐形成一股清廷不能小视的力量。更有甚者，一些强悍的棚民时不时外出干一些偷鸡摸狗、劫掠剽窃之事，扰乱了社会安定，令统治者心忧。张廷玉任户部尚书后，开始调查此事。他花了一段时间对棚民进行取证调查，并寻求一种妥善的解决方法。待头脑中有了轮廓后，他向雍正建议，让督抚在棚民聚居处补设一批贤能的州县官员，对棚民加以约束，把棚民编入户口册；如果有些棚民踪迹不定，四处游动，就以五家为单位组成连环保，互相稽核，不使之有遗漏。棚民中有些人也读书向学，知书达理；有些人孔武有力，技艺超群，对于这些文武人才，张廷玉则建议朝廷有选择有区别地加以录用，让他们为国效力。对于那些桀骜不驯者，要有所压抑；对于棚民的后代，则应集中起来给予教育，而不能持歧视态度。雍正觉得张廷玉的办法不错，让督抚们考虑执行。张廷玉站在朝廷的立场上，以和平手段解决了令统治者头疼的棚民问题。从雍正四年（1726年）至雍正六年（1728年），张廷玉分别被授予文渊阁大学士、文华殿大学士、保和殿大学士，并兼任吏部尚书。
张廷玉性格虽然宽厚仁爱，但作为吏部长官，他对官吏的要求和管理却极其严格。还在他任吏部侍郎时，就留下了“伏虎侍郎”的美誉。当时朝中有一个姓张的官员，为人阴损恶毒，常常作一些无稽的文字中伤诬害他人，清廷内外官员经常遭到他的诽谤，因为他在朝中很有“背景”，有权贵撑腰，一般官员虽受他陷害却又奈何，只是暗地里送他一个绰号——“张老虎”，以泄心中之愤。张廷玉任吏部侍郎后，决定将这个害群之“虎”治一治。他下令将“张老虎”抓到吏部严惩。这一措施立即遭到朝中权贵的阻挠，一时间，说情的、送礼的、威胁的都纷纷到张廷玉这里来“活动”，请求他网开一面，但张廷玉不为所动，冒着丢乌纱帽的危险，依法将“张老虎”处治。中外官员奔走相贺，并送张廷玉一个美称——“伏虎侍郎”。
某日，张廷玉坐在堂前办公，一个办事人员拿着一份文牒进来说：“这份文牒将‘元氏’县误写作‘先民’县，应当驳问原省官员。”张廷玉略作思考，笑着对他说：“如果是将‘先民’写作‘元氏’，可能是外省官员之误，现在将‘元氏’写为‘先民’，乃是文书官吏故意略添笔画使然，这个文书大概想以此达到某种目的。”张廷玉将这个文书传来讯问，果然如张廷玉所料，他故意将县名写错，然后以此要挟有关官员，达到索取钱财的目的。张廷玉考虑到并未造成严重后果，只将这个狡黠的小吏驱逐出官府了事，并下令将写错的县名纠正过来。此事传开后，同事们都称赞张廷玉机警敏锐。
清代内阁是名义上的最高行政机关，但议政王大臣会议和后来的军机处，才是真正的最高权力机构。清初，凡军国大政，都交由议政王大臣会议决定。议政王大臣会议的成员全由满族贵族组成，他们权力极大。这种贵族专制的形式，不仅和皇帝独揽大权相抵触，而且也不利于清朝进一步争取汉族地主的支持。所以康熙帝时又在宫内设南书房，皇帝谕旨从此多命南书房翰林撰拟，从而削弱了内阁和议政王大臣会议的权力。张廷玉曾两度入直南书房。雍正即位后，进一步限制满族贵族权力，并于雍正七年（1729年）在隆宗门内设军机房（后正式改称军机处），承旨办理机务，取代了议政王大臣会议，剥夺了诸王贵族干政的权力。参加军机处的大臣，由皇帝在满、汉大学士及各部尚书、侍郎中选定，都是皇帝的亲信。张廷玉和怡亲王允祥、大学士蒋廷锡等成为军机处的第一批大臣。张廷玉并亲自为军机处订立规制：各大臣奏事，一般的事务使用奏疏，自通政司交递内阁拟旨，陈奏皇上；重要的事务则用“奏折”，由奏事处递交军机处拟旨，再由皇上朱笔批发。从此，国家重大问题的决定权由内阁转移到军机处，最后决于皇上，中间不再经过内阁这道手续，对邦国大政的处理更无须议政王大臣会议的议决。清代的军机处机构精简，行政效率极高。张廷玉等人初入军机处时，才不过板屋数间，军机属员值舍也仅有屋一间半。但是人少精干，遇事不互相推诿，能迅速处理军国大事。自此，大学士只有充任军机大臣，才有机会参与国家机务。作为第一代军机大臣，张廷玉为军机处——对清代国家政治机构有决定性影响的机构——订立了规制，这一规制直接改变了清代原有的权力体系，影响巨大而深远。
张廷玉入军机处后，办事更加周敏勤慎，是雍正帝所倚重的重臣。雍正为奖励张廷玉的辅弼之功，赐予他一等阿达哈哈番，可世袭。雍正十一年（1733年），张廷玉又上疏请求校正刑部弊端。清代各省处理罪犯的方式是：对犯人按犯罪程度不同而区别对待，犯重罪者收禁关押，犯轻罪者可找保人担保释放。但是清朝刑部却没有采取这一合理方法，犯罪无论轻重，罪犯主从，一律收禁，使一些无辜者或犯轻罪者遭到不应有的或过重的惩罚。张廷玉建议仿照各省的办法，让轻罪犯人找保人，分别释放。刑部官员在判案时，引用律例常常断章取义，只根据其中寥寥数语就给犯人定罪，有的官员甚至生搬硬套律书上的案例来裁定案犯。这样做的结果便是使裁决和实际犯罪情况不相符合，甚至出入甚远，罪刑轻重失度，冤假错案层出不穷。张廷玉觉察到了这种办案方式的不良后果后，就上奏雍正，指陈其各种弊病，建议让都察院、大理寺驳正冤错案件；刑部办案草率不负责任者，应给予处分。张廷玉对于刑部的这两项提议都得到雍正帝的赞同，下令让九卿们议定执行。
不久，雍正帝命将张廷玉先父大学士张英入祀京师贤良祠，又令在张英的原籍安徽桐城祭祀。张廷玉奉旨携子若霭回乡行礼，雍正赐帑金一万为张英建祠，并赐予冠带、衣裘及貂皮、人参、内务府书籍等物品。这年十二月，张廷玉从家乡回京后，对雍正帝说：“我路过直隶省时，看到被水淹的各县已经受到了赈济，但是有些积水土地仍然无法种麦，请求陛下降旨再赈济一个月，以解决明年青黄不接时百姓的口粮问题。”张廷玉还想出一个以工代赈的办法，他说应该调查一下，看哪些地方需要修建水利工程，让受灾的农民到那些工程中去做工，给他们工薪，使他们能养家糊口。雍正立即下旨让地方官员按张廷玉所说的办法去执行。
雍正十三年（1735年），雍正皇帝病重，命张廷玉和鄂尔泰等人为顾命大臣。雍正帝在遗诏中说，张廷玉器量纯全，竭诚供职，死后可以配祀太庙。这是人臣所能享受的最高荣典。
