古老的镇江城北临大江，南傍吴山，水秀山青，风景如画。许多豪杰及文人墨客在这里留下了他们的踪迹。它同太平天国的首都南京近在咫尺之间，处在清军的严密控制之下。李鸿章呆在这里应有一点安全感。然而，他的心情并不平静，更没有访古揽胜的雅兴。他为清军在安徽等地兵败痛心疾首；听到张国梁、德兴阿、向荣等同太平军激战的消息，想到自己不能一显“才干”，不觉暗自伤心。每天，他极目吴山，听着金山寺的晨钟暮鼓，常常愁绪满怀，坐卧不宁。这个封建末世的“英雄”怀着效忠清王朝的决心和在政治风云中大显身手的野心，着急地等待着命运之神的惠顾。
曾国藩的湘军在江西北部同太平军作战，攻陷了九江。这对李鸿章来说，真是一剂强烈的兴奋剂。倒不是因为湘军的这点胜利对他有多少鼓舞，而是因为湘军统帅曾国藩同他有师生关系。他认为一旦投奔湘军，曾国藩一定会另眼相看，予以重用。他仿佛看到了自己灿烂辉煌的前程，看到了光灿灿的金印和令人炫目的顶戴花翎。于是，李鸿章离开了镇江，昼伏夜行，抄小路，避村舍，绕过太平军的营地，赶往九江的湘军行营，投入了曾国藩的怀抱。
咸丰十一年（1861）夏，李鸿章在重返曾幕路经万年（江西饶州府）时，曾赋诗寄怀，诗云：
半生失计从军易，四海为家行路难。
惟有娇痴小儿女，几时望月泪能乾。
阿爷他日卸戎装，围坐灯前问字忙。
天使诗人臣泉石，端教道韫胜才郎。
他以生动的笔触，抒发了投笔从戎、前路崎岖的感慨和思念女儿的骨肉之情，反映了渴望早日结束战乱、重享天伦之乐的情心，以及希望娇女成长为像东晋女诗人谢道韫那样“咏絮才”的心声，情真意切，凄楚动人。
然而，事情并不像李鸿章预料的那么称心如意。他满怀希望地赶到九江，但曾国藩却借口军务倥偬，没有相见。李鸿章以为只是一时忙碌，几天之内定可召见，谁知在旅舍中闲住了一个月，竟得不到任何消息。他心急火燎，如同热锅上的蚂蚁。李鸿章得知曾国藩幕府中的陈鼐，是道光丁未科进士，与他有“同年”之谊，也充过翰林院庶吉士，又算是同僚，就请陈去试探曾国藩的意图。谁知曾国藩环顾左右而言他，不肯表明态度。
李鸿章既是曾国藩的得意门生，曾国藩何以对他如此冷落？这实在令人费解。就连陈鼐也不明所以，便对曾国藩说：
“少荃与老师有门墙之谊，往昔相处，老师对他甚为器重。现在，他愿意借助老师的力量，在老师门下得到磨练，老师何以拒之千里？”
曾国藩冷冷地回答说：“少荃是翰林，了不起啊！志大才高。我这里呢，局面还没打开，恐怕他这样的艨艟巨舰，不是我这里的潺潺溪流所能容纳的。他何不回京师谋个好差事呢？”陈鼐为李鸿章辩解说：“这些年，少荃经历了许多挫折和磨难，已不同于往年少年意气了。老师不妨收留他，让他试一试。”
曾国藩会意地点了点头。就这样，李鸿章于咸丰八年（1858年）进了曾国藩幕府。
其实，曾国藩并不是不愿接纳李鸿章，而是看李鸿章心地高傲，想打一打他的锐气，磨圆他的棱角。这大概就是曾国藩这位道学先生培养学生的一番苦心吧。自此之后，曾国藩对李鸿章的棱角着意进行了打磨，以使他变得老成世故，打下立足官场的“基本功”。
曾国藩很讲究修身养性，规定了“日课”，其中包括吃饭有定时，虽在战争时期也不例外。而且，按曾国藩的规定，每顿饭都必须等幕僚到齐方才开始，差一个人也不能动筷子。曾国藩、李鸿章，一是湘人，一是皖人，习惯颇有不同。曾国藩每天天刚亮就要吃早餐，李鸿章则不然。以其不惯拘束的文人习气，而且又出身富豪之家，对这样严格的生活习惯很不适应，每天的一顿早餐实在成了他沉重的负担。一天，他假称头疼，没有起床。曾国藩派弁兵去请他吃早饭，他还是不肯起来。之后，曾国藩又接二连三地派人去催他。李鸿章没有料到这点小事竟让曾国藩动了肝火，便慌忙披上衣服，匆匆赶到大营。他一入座，曾国藩就下令开饭。吃饭时，大家一言不发。饭后，曾国藩把筷子一扔，扳起面孔对李鸿章一字一板地说：
“少荃，你既然到了我的幕下，我告诉你一句话：我这里所崇尚的就是一个‘诚’字。”说完，拂袖而去。
李鸿章何曾领受过当众被训斥的滋味？心中直是打颤。从此，李鸿章在曾国藩面前更加小心谨慎了。
李鸿章素有文才，曾国藩就让他掌管文书事务，以后又让他帮着批阅下属公文，撰拟奏折、书牍。李鸿章将这些事务处理得井井有条，甚为得体，深得曾国藩赏识。几个月之后，曾国藩又换了一副面孔，当众夸奖他：
“少荃天资聪明，文才出众，办理公牍事务最适合，所有文稿都超过了别人，将来一定大有作为。‘青出于蓝而胜于蓝’，也许要超过我的，好自为之吧。”
这一贬一褒，自然有曾国藩的意图。而作为学生的李鸿章，对这位比他大十二岁的老师也真是佩服得五体投地。他对人说：“过去，我跟过几位大帅，糊糊涂涂，不得要领；现在跟着曾帅，如同有了指南针。”
李鸿章在未入曾幕之前，曾先后随团练大臣吕贤基及安微巡抚福济，此二人既非战乱之才，对于领兵作战更是缺乏经验，李鸿章在他们手下带兵及处幕，自然没有本领可学。曾国藩所以能在举世滔滔之中发生砥柱中流的作用，就是因为他能以子弟兵的方法训练湘军，使他们成为一支能征惯战的队伍；而他自己所拟订的通告全局、十道分进、对太平天国展开全面防堵围剿的战略方针又极为正确，因此方能使他在对太平天国的战争中掌握主动，着着进逼，终于使太平天国政权完全倾覆。假如曾国藩也像同时一班督抚大帅那样不能高瞻远瞩，那么，曾国藩不免也会像向荣、和春、胜保、福济等人一样碌碌无成，李鸿章也决不能从曾国藩那里学到卓越的打仗要领。曾国藩死后，李鸿章作联挽之，说：
师事近三十年，薪尽火传，筑室忝为门生长；
威名震九万里，内安外攘，旷世难逢天下才。
此联的上半，充分道出了李鸿章师事曾国藩而尽得其军事政治才能的事实。然而李鸿章入居曾幕，实在是他一生事业的重要关键，拜相封侯，悉基于此。至于曾国藩赏识李鸿章，除了曾国藩素知李鸿章才气过人这一因素外，下面一件事，也是重要的原因。
李鸿章居曾幕时，曾为曾国藩草奏严劾安徽巡抚翁同书，最得曾国藩的欣赏。其时曾国藩因翁同书对练首苗沛霖的处置失常，以致激成大变，他本人又在定远失守之时弃城逃走，有愧封疆大吏的守土之责，极为愤慨，意欲具疏奏劾而难于措辞。翁同书是前任大学士翁心存之子，翁心存在皇帝面前的“圣眷”甚隆，门生弟子布满朝列，究应如何措辞，方能使皇帝决心破除情面，依法严惩，而朝中大臣又无法利用皇帝与翁心存之间的关系，来为翁同书说情，实在很费脑筋。他最初使一幕僚拟稿，觉得甚不惬意，不愿采用，而自己动手起草，怎么说也不能稳当周妥。最后乃由李鸿章代拟一稿，觉得不但文意极为周密，其中更有一段极为警策的文字，说：
臣职分所在，例应纠参，不敢因翁同书之门第鼎盛，瞻顾迁就。
这段话的立场如此方刚严正，不但使皇帝无法徇情曲庇，也足使朝臣之袒翁者为之钳口夺气。所以曾国藩看了之后，大为欣赏，即以其稿入奏，而翁同书亦旋即奉旨革职拿问，充军新疆。就事论事，李鸿章此稿，深得奏议文字的“辣”字诀，使人无可置喙于其间。李鸿章有此吏才，足以使曾国藩对他刮目相看。
李鸿章在军务方面也常常为曾国藩出谋献策。咸丰十年（1860）五月，清廷命曾国藩署理两江总督，督办围剿太平军事务。曾国藩率大营进驻安徽祁门。祁门在长江之南，位于黄山之西，四周山丘环绕，形如锅底。曾国藩认为只要占领四周制高点，扼守要路，足以自守。但李鸿章则认为：“在这种地方扎营驻兵，乃是兵家之忌。这是兵法上所说的‘绝地’。不如及早转移，选择有利地形，以便进退自如。”
从纯粹的军事观点来看，李鸿章的话是颇有见地的。但曾国藩没有接受李的意见。李鸿章反复力争，坚持己见。最后曾国藩气愤地说：“诸位如果胆怯，可以各奔前程！”李鸿章见状便不敢再多言了。但这一次真被李鸿章言中了。
这年八月，太平军杨辅清等部攻克宁国府，击毙了清军提督周天受。李世贤部以四万之众出广德，进逼徽州；驻守广德的太平军攻入丛山关。十月，太平军逼近祁门。李秀成率数万精兵，攻克黟县。曾国藩大本营处于太平军重围之中，几成瓮中之鳖。湘军原由江西供应粮草，此时四面受困，粮草连续三个月运不进祁门。曾国藩只得移驻休宁，并企图突围。后因其弟曾国荃在安庆对太平军发动强大攻势，胡林翼又在太湖策应，陈玉成率部回援安庆，加上鲍超等各部清军拚死抵抗，太平军未能克攻祁门、休宁，曾国藩这才侥幸逃生。经此事，曾国藩对李鸿章更为器重了。李鸿章也因此再一次博得了通晓兵法的称誉。
