曾国藩在湖南编练湘军，本打算交给江忠源统带东下，与李鸿章所招之安徽练勇合成一军，以为湘、鄂、赣、皖四省联防之计。江忠源既死，曾国藩乃自统湘军于1854年2月出境作战。他先以湖南为基地，与太平军争夺湖北、江西。继之，从1858年起，又以湖北、江西为依托争夺安徽，尤以争夺安庆为关键。同年8月，太平军再次攻克庐州。9月陈玉成与李秀成部太平军在浦口，一举将清军江北大营摧毁。湖广总督官文乘太平军主力集中东战场之机，命湘军自江西九江分两路入皖：一路由湘军悍将李续宾统率攻庐州，一路由江宁将军都兴阿率领，会同水师攻安庆。11月，陈玉成、李秀成自东战场回援三河，一举将湘军主力李续宾所部6000精锐歼灭，致使湘军大伤元气。其时，李鸿章正在家乡为父母守丧，以皖北大局已不可为，遂于1859年1月13日投往驻师江西建昌的曾国藩军营。曾国藩一向对李鸿章十分器重，又适逢湘军新败，正需用人之际，李鸿章的到来，自然非常高兴，师生连日竟夜畅谈大江南北各路军务。李鸿章到建昌不足10天，曾国藩即决定由李鸿章主持增练皖北马队，附于湘军，用两淮之特长，补湘军之不足。李鸿章受命，随即遣人至颍、亳一带招募勇丁。但颍、亳地方绅士，借口团练保卫乡里，对往招之人百般阻拦，是以两淮马队之议，遂未实行。招勇未成，曾国藩即命李鸿章前往曾国荃所部湘军。6月11日，李鸿章随曾国荃自抚州进兵景德镇。与此同时，曾国藩具折向朝廷奏明，留李鸿章在营襄办军务。自此李鸿章成为湘军正式成员。数日后，曾国藩致书李鸿章：“阁下此行，其着意在于察看楚军各营气象，其得处安在？其失处安在？将领中果有任重致远者否？规模法制尚有须更改者否？一一悉心体察。”“阁下宏才远志，自是匡济令器，然大易之道，重时与位，二者皆有大力者冥冥主持，毫不得以人力与其间。”可知，曾国藩要李鸿章前往曾国荃军营颇有深意：一是要他考察湘军之得失，二是要他等待机会担负重任。7月13日，李鸿章随曾国荃攻陷景德镇。14日，进占浮梁县，旋即回归抚州，于8月13日，回到曾国藩处，即留幕中担任文案工作，并参赞军务。自是，曾国藩所至，必携李同行，成为曾国藩的得力助手。
1860年5月，太平军第二次摧毁清军江南大营，清朝的正规军队绿营兵已崩溃。咸丰皇帝环顾左右，唯有依靠湘军镇压太平军。同年夏，授曾国藩为两江总督、钦差大臣，督办江南军务，所有大江南北水陆各军统归节制。其时，李鸿章随曾国藩驻师祁门，经营皖南。李鸿章鉴于祁门地势偏僻，建议曾国藩待皖南部署稍定，即应亲往淮扬一带兴办水师。他认为这样，既可保淮扬饷地，又可控制全局，以实现进军下游之计划。湘军二号统帅胡林翼完全赞同李鸿章的主张，曾7次函请曾国藩经营淮扬，并力荐李鸿章，求为保举实缺。8月19日，曾国藩决定采纳胡、李的意见，奏保李鸿章为两淮盐运使，黄翼升为淮扬镇总兵，并向朝廷力荐李鸿章之才，他在奏折中说：“该员劲气内敛，才大心细，与臣前保之沈葆桢二人，并堪膺封疆之寄。而李鸿章研核兵事，于水师寂要，尤所究心。”曾国藩决定举办淮扬水师，原计划利用淮徐等处风气刚劲，在淮扬兴办船厂，招募两淮之勇，以补湘军之不足。为此，他命李鸿章等先至淮扬，俟少具规模，明年再亲往主持。但李鸿章等尚未启行，太平军已发动第二次西征，忠王李秀成率军进入皖南，曾国藩因祁门危急，复将李鸿章奏留。这样，淮扬水师的创办，其船只只好改在湘、鄂等处制造，勇丁亦由湖南招募。1861年5月成军9营。6月14日，曾国藩奏保黄翼升为统领，仿照湘军水师，定立营制饷章，淮扬水师正式宣告成立。在创办期间，李鸿章因李元度失徽州向曾国藩求情未允，愤然离营去江西南昌闲居。7月13日，在曾国藩的催促之下，才又回到已移驻东流的湘军大营。时淮扬水师已经成军，适逢由粤为水师购置的洋炮运至湖口，由李鸿章主持分配给各营，算是为该水师做了点工作。因此之故，李鸿章虽然与淮扬水师各营官有宗属关系，但他成军完全由曾国藩一手办成，同李鸿章的关系并不密切。嗣后该水师赴下游协同淮军作战，李鸿章也只能通过黄翼升指挥该军。
1861年9月5日，曾国荃部湘军攻陷安庆。李鸿章随曾国藩自东流进驻该城，朝夕会商进军金陵和进攻太平军的计划。当时的军事态势是：江苏、浙江的大部分地区仍为太平军所有，湘军要进攻金陵，非有大支劲旅分别进驻苏、浙不能济事，而湘军的力量显然不足分配。为补湘军力量之不足，利用两淮风气刚劲，编练淮勇，是曾国藩酝酿已久之事。恰在此时，又有上海绅士到安庆乞师，更促成淮军的编练。
上海自鸦片战争之后，成为五口通商口岸之一，地位日渐重要。1858年清政府即改以两江总督办理各国通商事宜，上海遂成为全国通商与外交的重心，1860年清军江南大营崩溃，太平军乘势东下苏（州）、常（州），苏南各地殷商富户纷纷避难上海，外国租界更成为栖居之所。同年7月太平军第一次进攻上海期间，正值英法联军发动第二次鸦片战争进犯京师之际，栖居上海的官绅十分惶恐不安，由于苏松太道吴煦请外国侵略者帮助守城，才使太平军未能进占上海。第二次鸦片战争结束之后，中外反动势力勾结起来共同镇压太平军，清政府为保住长江下游财富之区，遂有所谓“借师助剿”之议。但是以曾国藩为代表的地方实力派，出于对西方列强的防范心理和争夺地盘的欲望，对“借师助剿”始终未表赞同。上海孤立已久，望援甚切，适逢湘军攻占安庆，军威远播，曾国藩总督两江，又有保卫地方之责，于是上海官绅乃有赴安庆乞师之议。1861年11月6日，先有金匮知县华翼纶等到安庆乞师。18日，又有户部主事钱鼎铭等正式代表上海官绅持书抵安庆，谒见曾国藩，并晤李鸿章，座中钱、鼎铭等痛哭流涕，极言上海有饷无兵，望上海之兵早赴江东救援。为此，曾国藩与李鸿章连日讨论援沪办法。初拟令曾国荃所部湘军赴援，李鸿章偕黄翼升淮扬水师驻镇江，控制全局。但曾国藩欲令其弟曾国荃进攻金陵夺取首功，故援救下游的任务遂以李鸿章承当。计议已定，曾国藩即命李鸿章尽速募勇淮南，以为东征之资，并保举他为江苏巡抚、左宗棠为浙江巡抚，为进军苏、浙积极作准备。
李鸿章既奉招募淮勇之命，便积极同淮南各地团练头目进行联络：一是通过其父李文安旧部张树声联络合肥西乡民团头目刘铭传及周盛波、周盛传兄弟；二是通过其门生潘鼎新联络庐江官团头目吴长庆等；三是派人联络其在合肥办团练时的旧部张桂芬、张志邦、李胜、吴毓芬等；四是令其弟李鹤章、李昭庆回乡利用乡族关系募集亲兵。1862年（同治元年）2月初，即有张树声、刘铭传、潘鼎新、吴长庆之树、铭、鼎、庆4营团练武装开到安庆进行编练。此外还有张遇春的“春字营”亦加入训练（张遇春系李鸿章旧部，1860年应李鸿章之召去祁门，归入湘军，是时曾国藩即将春字营拨归李鸿章）。2月中旬，曾国藩又将两江总督亲兵营韩正国部湘军2营以及曾国荃部程学启“开字营”2营（程学启，皖北人，系太平军叛将）拨给了李鸿章。2月22日，在安庆城北正式成军，号称淮军，曾国藩为厘定营制饷章，悉仿湘军章程。当天，李鸿章即移驻军营。不久，又有从湖南新招募的由滕嗣林、滕嗣武统带的“林字营”2营以及由陈飞熊、马先槐分别统带的“熊字营”、“垣字营”各1营开到安庆，奉曾国藩之命也加入了淮军序列。总计，淮军安庆建军共有13营6500人。
淮军仓促成军，同湘军相较，显然有不同的特点。湘军创建之初，兵将均出自湖南，将领皆儒生，士兵尽农夫，并标榜以捍卫封建之道为最高宗旨。而淮军组成分子，既有团练武装，又有太平军降众，更有湘军整营加入，可谓“兼收并蓄”，杂凑而成。因此之故，淮军虽也有浓厚的地方乡土色彩，但较湘军为淡，且其将领不学者多，无共同的最高理想，唯以功名利禄是图，因而军纪与精神远逊于湘军。
受命组建淮军，是李鸿章一生的重大转折，他终于可以独树一帜，大显身手了。有兵即有权，这是人人皆知的道理。虽是书生点兵，又缺将少饷，但李鸿章以功名利禄为手段，以庐州旧有强悍的团练为基础，以其恩师曾国藩为后援，苦心孤诣，最终组建了一支继湘军之后的又一支强大的地方武装力量——淮军。由于手握重兵和湘军主帅曾国藩的举荐，1862年，已届不惑之年的李鸿章成为身兼江苏巡抚和通商大臣之职的实权人物，与其恩师曾国藩形成“双峰并峙”之势。李鸿章还效法曾国藩开设幕府，广招贤才。他特别注意提拔经世致用、精明练达之士，像丁日昌、冯桂芬等新型人才多受他的重用，这为日后他施展政治抱负奠定了人力基础。与此相反，太平天国自“天京事变”以后，元气大伤，出现“朝中无人，军中无将”的危殆局面。此时，太平军面临的形势极为严峻。1860年第二次鸦片战争结束后，中外反动势力开始勾结起来，湘、淮势力因清廷的倚重而不断加强，因此，太平天国的失败已成定局。李鸿章平日饱受曾国藩的思想熏陶，但“青出于蓝而胜于蓝”，他在用兵韬略方面比曾国藩更胜一筹。他的“用沪平吴”的军事方针，雄辩地证明他是相当有见地的。当时曾国藩要求李鸿章移师镇江，他认为“上海僻处东隅，论筹饷为要地，论用兵则为绝地”。李鸿章不为所动，坚持以上海为基地，认为上海是“中外杂处之区，通省兵饷吏事之枢纽”，驻兵上海，不仅可控制饷源重地，还可以得到英、法的更多援助。李鸿章深知，上海买办官僚的人心向背关系着淮军的命运，而淮军的兴衰又决定着个人宦海的沉浮。果然不久，在湘、淮二军的猛烈反扑和夹击之下，太平军节节后退。这时的李鸿章颇为志得意满，他驾驭桀骜不驯的洋兵洋将，“有鞭挞龙蛇视若婴儿之风”，他依靠洋枪队，造成了太平军的一次次战斗失利。
1864年，攻陷天京后，清廷论功行赏，李鸿章被封为一等肃毅伯，赏戴双眼花翎。
太平天国失败后，清廷的首要任务就是在原太平军占领区域重建各级政权。多年的战乱，曾为膏腴之地的苏、浙一带已是满目疮痍，地荒人稀。“十年壮丽天王府，化作荒庄野鸽飞”。面对百废待兴的局面，李鸿章一面恢复地方各级政权，一面下令各地绅董设立善后局，以“抚恤民生”。同时，在各地乡镇设难民局，收养流离失所的灾民。在战争破坏最严重的地区实行“招垦抚恤，豁免钱漕”的措施，“资遣回籍难民10余万人，并发牛种；招集流亡垦荒”。除此之外，李鸿章还大力恢复和加强文化教育，如兴建苏州试院，改进正谊书院，聘请俞樾、冯桂芬等一些名流任主讲等。他的这些政治、经济、文化措施，在客观上的确收到了为清朝廷服务的积极效果。
天京陷落后，虽然太平军的余部、北方的捻军及一些少数民族起义军仍坚持了数十年，但已不成气候，无力回天。清朝政权在风雨飘摇中又逐步稳定下来。经过农民革命急风骤雨式的扫荡，满族皇权日趋衰落，中央政府对武装力量和地方政权的控制大为削弱，以曾国藩、李鸿章等为首的一批汉族地主官僚在镇压人民反抗的过程中崭露头角。清廷对他们既倚重，又害怕他们坐大。权力较量的结果，使李鸿章的地位更加巩固。曾国藩因兵柄过重而深受朝廷的忌疑，鉴于“自古握兵柄而兼窃利权者无一不凶于国而害于家”的惨痛教训，长期宦海沉浮的曾国藩决定功成身退，以保全晚节。他的裁湘保淮的策略，为淮军的进一步壮大提供了难得的良机。此时捻军烽火正盛，朝廷不得不依仗淮军。到1865年，淮军已发展成为拥有全副新式装备的6万精锐之师。李鸿章也因此由署理江督到节制两湖，一跃成为控制三江两湖的最大地方实权派人物，这为施展其才能抱负提供了必要的政治条件。
