晚清时期，太平军强悍无比，清朝绿营兵节节败退，皇帝下令派遣各大臣组织团练，其中敢和太平军硬抗而不落下风的只有两支军队，那就是湘军和后起之秀淮军。
湘军的统帅是曾国藩，在他的带领下，组织了不少有志之士聚集在他的幕府中，大家出谋划策，湘军的势力愈发壮大，连续攻下许多被太平军占领的城池，以收复失地而被朝廷大为赞赏。
至于后来者居上的淮军更是吸引了朝廷的眼球，其领袖就是曾国藩举荐的李鸿章，李鸿章也逐渐登上平步青云的康庄大道，淮军在他的领导下军功不断，多次让皇帝龙颜大悦，为其加官晋爵。
其实，淮军组建也是在被迫无奈的情况下进行的，过程有些艰难，但是换个角度想想，如果没有这些阻碍，李鸿章就无法在淮军中展现自己的军事领导才能，没有了这个好机会，他或许后半生都要被埋没在“假”平庸中。
1860年，太平军再次攻破了清朝布置在江南的大营，结果就是直接导致清政府失去了长江下游流域的最后一支主力军，太平军攻势猛烈，所过之处，百姓流离失所，民不聊生，那些家财万贯的富贵人家、地主、乡绅纷纷逃到了上海，躲避战乱，他们平时狐假虎威，在太平军面前却吓破了胆，仿佛老鼠见了猫。他们为了自保，免受灾难，花大价钱通过通商口岸雇用外国雇佣兵做保护伞，然后暗中派遣钱鼎铭（湖北巡抚钱宝琛之子，道光时期举人）为代表秘密拜访当时囤聚在安庆的曾国藩，请求他的支援。
为什么派钱鼎铭前去呢？自是因为钱鼎铭和曾国藩等人有些渊源。钱鼎铭的父亲钱宝琛和曾国藩与李文安的关系一样，都是同年进士，关系不错，算起来钱鼎铭还要喊曾国藩一声伯父，曾国藩最重感情，他被一把鼻涕一把泪的钱鼎铭所打动，况且钱鼎铭还撒下一记重重的鱼饵，上海乡绅富豪们答应每年筹集60万两白银作为湘军军饷，这对粮草不足的湘军来说简直是雪中送炭，曾国藩当下便答应下来，准备派遣其弟曾国荃带兵前往上海驻守支援，可是曾国荃正在忙于处理攻打天京的事宜，腾不出时间，曾国藩一时间想不到合适的人选便只好厚下脸皮，给在家乡照顾老母的湘军大将陈士杰写了书信，但一向孝顺的陈士杰不愿离开病重的老母亲，婉言拒绝了曾国藩的邀请。最终他发现自己的弟子李鸿章尚有空闲，便有意要锻炼他，将这个重任交给了李鸿章，李鸿章欣然答应，便开始着手招募兵将，筹划组建淮军。
当时两淮地区较为混乱，战事不断，为了自保，老百姓不得不结寨培养自己的军队，长时间下来，甚至超过了很多朝廷兵力，李鸿章正是看中了这里的人力资源，便把淮军招募兵力的主意打在了两淮地区的老百姓身上。
1861年，西乡团练头目得知曾国藩担任两江总督，李鸿章在湘军幕府中共事，就写了一道文帖请张树声转交给曾国藩，帖子中详细地分析了安徽的形势，并表达了投靠效忠的意愿。曾国藩阅读后大为赞同，亲笔批示“独立江北，真祖生也”。李鸿章在两淮地区也颇有影响力，因此很顺利就招募到了不少强壮精悍的乡兵，只需加以规矩，辅以简单的训练就可在战场上与太平军一较高下。
通过张树声，李鸿章先后招募了合肥西乡三山诸部，然后又以庐江进士刘秉璋为纽带，与三河的庐江团练头目潘鼎新、吴长庆取得联系，他向刘秉璋、潘鼎新、吴长庆三人同时发出邀请，进入淮军一起共事，由于潘鼎新和刘秉璋都曾是李文安的门生，而吴长庆的父亲也和李文安是旧交，此时李鸿章振臂一呼，这三人立刻举手呼应，答应进入淮军编制。
1862年春节刚过，李鸿章便命令淮军最早的四字营“树、铭、鼎、庆”火速赶往安庆参加集训，另外他还命令李鹤章回乡召集旧部训练，李鹤章回到安徽合肥，将这个消息传播开来，顿时响应声不绝于耳，李胜、张绍棠、德模、王学懋，甚至李文安的旧部吴毓兰、吴毓芬等人纷纷要求加入淮军。
淮军四字营率先来到安庆，曾国藩亲自接见检阅，他非常重视这次的军队建设，为了便于管理，他还认真制定营规，并从湘军总部调来有经验的将领和士兵辅以训练，增强淮军实力，甚至有好几个营被完整地从湘军迁到了淮军，他们分别是属于湘军的“春”字营和“济”字营、程学启的“开”字两营、湖南新勇“林”字两营以及“熊”字营和“垣”字营，其中还有两营亲兵是曾国藩送给李鸿章建立淮军的“赠嫁之资”。程学启领导的“开”字两营兵力最为强盛，而且士卒大多是安徽籍，后来大名鼎鼎、流芳百世的北洋水师提督丁汝昌当时就在其中。
最终，经过编制，李鸿章组建的淮军拥有十四个营的兵力，每营正勇505人，长夫180人，共685人。1862年2月，曾国藩在李鸿章陪同下再次检阅了经过集训的14个营的精兵。在钱鼎铭的运作下，上海的士绅们筹集了18万两白银雇了七艘英国商船把淮军分批运往上海，帮助当地士绅富豪摆脱太平军的威胁。
李鸿章随第一批淮军乘坐英国商船来到上海，刚到上海他就被任命为署理江苏巡抚，几个月后又授予实权，刚到上海时，事态比较严峻，太平军已经展开了第二次大规模进攻，上海是当时最大的通商口岸、贸易集聚地，江南财富大都聚集于此。李鸿章既要保住这里的繁荣昌盛又要抵御击退来势凶猛的太平军，着实伤透了脑筋，他一直坚持曾国藩的教导“以练兵学战为性命根本，吏治洋务皆置后图”，沉下心来后也确实想出不少方案，但当时被雇用来的外国雇佣兵看到淮军的装备后嘲笑，就连一些恳求援助的上海士绅也不抱希望，非常不看好李鸿章新成立的淮军。可是李鸿章却不以为然，他说道：“军贵能战，待吾破敌慑之。”
果然，1862年下半年，在李鸿章的领导下，淮军在虹桥、北新泾和四江口三次恶战后大获胜利，成功守卫了上海，也让那些嘲笑淮军的人闭上了嘴，对李鸿章和他的部队刮目相看。守护上海的战役取得了巨大胜利，此等大捷震惊朝野，1863年2月李鸿章又兼署通商大臣，李鸿章从此逐步得到朝廷的赏识，开始了他风光的后半生。
在上海刚刚站稳脚跟，为了进一步巩固自己的地位，李鸿章开始从“察吏、整军、筹饷、辑夷各事”入手对淮军进行整治。在人事方面，他重用郭嵩焘等一批洋务派官员，然后建立起跟湘军幕府地位相同的淮军幕府，李鸿章就是这淮军幕府的最高统治者；在军事上，李鸿章“尽改旧制，更仿夷军”，引进西洋军械，洋枪洋炮全副武装，并雇用外国军队教练对淮军进行新式培训，使之战力大幅度提高，另外李鸿章还采用一些招降的措施，扩张淮军，不到半年的时间，淮军就迅速从14个营扩张至50个营；在军饷处理方面，李鸿章坚持“关厘分途，以厘济饷”的政策措施；在对外交涉过程中，李鸿章平息了苏州杀降所引起的戈登率常胜军闹事事件。这一系列措施都让李鸿章巩固了自己的幕府，增强了淮军力量，为他今后的道路铺垫了雄厚的资本基石。
