当许光达在西北围攻洛川之际，粟裕根据中央军委和毛泽东的要求，准备寻歼邱清泉的第五军。
邱清泉的整编第五军，是国民党五大主力之一。从蒋介石集团发动反革命内战以来，该军常在进攻华东解放区和在中原战场作战中打头阵，既骄横，又狡猾，与我军多次交手，虽未赚到便宜，但也未受过严重打击，气焰十分嚣张。毛泽东认为：第五军是蒋介石在中原战场的主力，如早把敌人这个“王牌”歼灭了，就等于砍掉蒋介石伸向中原和华东战场的一只臂膀，形势将大为改观。他要求粟裕高度发挥主观能动性，寻歼第五军。为此，毛泽东请朱德总司令亲到华野指挥部传达命令，并作动员。1948年5月14日，朱德先向华东野战军团以上干部讲话，随后又向营以下干部和战士代表讲话，分析战争形势，动员大家学习战术，用“钓大鱼”的办法，寻机歼灭敌整编第五军。
朱德说：“消灭敌整编第五军不论从战略上，还是从为民除害上讲，都是势在必行！但问题是在于如何消灭。整编第五军不是一般的对手，它是蒋介石所谓的五大主力之一，这个你们都清楚。因此，对付像整编第五军这样的主力，就是要用钓大鱼的办法。你想钓一条大鱼，不能性急，因为你性急往上扯，大鱼尚未疲困，拼命扯往住会把绳索弄断。可以慢慢同它摆，在水里摆来摆去搞上几个钟头，把鱼弄倦了，再扯上来，大鱼就到手了。对付第五军就要用这个办法。你就要下决心搞掉一两条这样的大鱼。”
5月23日，粟裕决定在鲁西南歼灭敌第五军。由于当时战场情况很复杂，粟裕的战役计划也十分复杂。他命令两个纵队南下淮阳，吸引邱清泉南下，然后以5个纵队渡过黄河，首先歼灭鲁西南地区的守敌，开辟出一块战场。此时，他认为邱清泉必定回援鲁西南，若如此，南下淮阳的两个纵队再尾随邱清泉北上，与鲁西南的5个纵队夹击第五军。与此同时，粟裕还设想了另一个方案，即当第五军不好歼灭时，“先打开封，后歼援敌。”5月24日，南下2个纵队向淮阳前进，邱清泉果然尾追而去。粟裕立即指挥当时在黄河北边的5个纵队南渡黄河。不料这一招使南京的蒋介石大为惊恐，急令邱清泉回师鲁西南同时，又调动5个师增援鲁西南，企图夹击粟裕渡过黄河的5个纵队。这样一来，敌在鲁西南的兵力已达9—11个整编师，兵力远远大于我军不说，且队形密集，不易分割，打整编第五军条件不成熟。而此时，我南下两纵队已到开封附近，只有一日行程，如果就势转用于突然攻取开封，可打敌措手不及。
粟裕想：既然一时不能钓到大鱼，就先钓个中鱼、小鱼吃，吃饱了再钓大鱼。6月15日，粟裕一边向中央军委和中原军区上报决心，一边向部队下达命令，陈士榘、唐亮指挥南下的两个纵队猛扑开封，粟裕则指挥其余部队阻敌增援开封，保障陈士榘歼敌。6月17日晨，中央军委来电完全同意粟裕的决心，认为“这是目前情况下的正确方针”，要求粟裕在“情况紧张时独立处置，不必请示”。中原军区刘伯承、邓小平、陈毅也来电报：中原野战军将全力阻击开封以南之敌，不使之增援开封，华野可放手打。
粟裕突攻开封这一着棋，完全出乎敌人意料，因为当邱清泉南下两纵队尾随北上时，南京和徐州都认为我军企图夹击邱清泉，不料陈士榘突然左转弯，直扑开封。
开封是河南省省会，与西安、洛阳、北平、南京并列五大古都。背依黄河，扼制郑州、徐州之间，地理位置十分重要。历代多争战多水患，为防兵防水，筑城特厚，上面可并行两辆马车。驻守开封的部队有整编六十六师等总共不过3万人。兵力不多牌子很杂，大小13个部分。河南籍在南京的国大代表和参议员们听说开封被围，联络一起，急急惶惶去见蒋介石，一位老者竟跪倒地上号啕大哭：“蒋公，蒋公，救救开封，国府南京，古都卞京，互为依重，一脉相承，万万丢不得呀，呜呜……”蒋介石微笑着扶起老者，慢声开导：“诸公不必担心，开封固若金汤，绝对没有问题。共军扰开封完全是虚张声势，并不是真攻开封，了解中原情势稍具战略目光的人都清楚。退一步想，共军真要攻开封，不要说两个纵队，4个纵队也不行，开封城十分坚固，大家是知道的，但是你们还不晓得开封的防御工事防御能力有多强。我只告诉诸位一点，除了城高城厚，除了又深又宽的外壕而外，城关内外的防御工事以及核心阵地龙亭的巧妙安排，都是十分坚固万无一失的。内有重兵防守外有八方应援，请问，没有现代立体作战手段的共军如何攻取？”一席话说得老者破涕为笑，打躬作揖，随大家走了。
6月17日河南省主席刘茂恩，警备司令整编六十六师师长李仲辛向徐州南京告急：“共军不是假攻。从16日逼近城郊即对宋关、曹关、南关、西关同时发起猛烈攻势，到现在攻势不减仍在加强，不惜代价的拼命攻势表明，意在速战速决，请速救援。”
“要不要出援？”顾祝同请示。“不要，我要让他自己撤走，然后把他吃掉。”蒋介石说，“没有援军，开封也可守10天。敌军这样不顾一切地强攻，伤亡一定很大，不要多，照这样再攻两天就难以为继了，到那时我仍按兵不动，粟裕无计可施，或撤离开封，或派兵增援，我们就在此时会歼粟裕。”命令“邱兵团孙元良兵团向民权对进，区兵团黄兵团进至商丘以东待命，刘汝明、胡琏进至朱仙镇、陈留一线。邱孙两兵团见敌动即实行夹击，敌不动则于20日凌晨夹击，最大限度杀伤，溃逃之敌由其他兵团捕杀。邱孙兵团完成夹击任务时要防其北窜。粟裕既败，开封之敌必不敢向东退，由刘汝明胡琏部搜剿之。各部开进不可过早，过早则敌遁；不可过迟，过迟防开封有失”。电慰开封：“援军日内即到，依城固守，吸住攻城共军记首功。”
但是从16日至19日不过四昼夜，开封有点守不住了。
开封城破在即，蒋介石焦急万分，慌忙调兵遣将，组织多路增援，并在我军攻入城区后，令其空军不分昼夜对城区狂轰滥炸，投掷大量燃烧弹，并令守敌四处纵火，妄图使开封成为一片大海，阻止我军发展进攻。蒋介石寄希望于龙亭核心阵地，那里的确十分坚固。我军从20日夜到21日晨，两次攻击未能奏效。21日17时，我再次猛攻龙亭。此时粟裕和张震、钟期光来到陈士榘指挥所，指示将主力撤出开封，准备迎击邱清泉，打龙亭也不必太着急，免得邱清泉来援不积极。6月22日晨，开封全部解放，3万余敌被全歼，加上阻援歼敌共4万余人。敌开封守备司令、整编第六十六师师长李仲辛被击毙，参谋长游凌云被活捉，只刘茂恩化装潜逃。
粟裕在豫东战场小使一招，使蒋介石闪了腰，南京城里乱成一团。开封被攻克第二天，“立法院”召集会议，河南籍立委怒气冲天，要“国防部长”来作检讨，向国民交代固若金汤的古都开封怎么丢掉的，从上到下追究责任。孙科心里明白，这是冲蒋介石来的。赶紧站起来说：“这次从计划部署到战事结束，国防部不曾下一道命令，怎么个追究法？”吵了一通，情绪渐渐平静下来，大家想想也是，蒋介石常常把命令直接下到师旅，谁个敢追究，追究了又能怎么样？河南留京国大代表和河南籍参议员再次到蒋介石官邸求见。蒋介石让俞济时传话：“5天之内必收开封，到那时再见。”当即严令邱清泉、孙元良：“限3日收复开封。”如何收复，收复不了怎么办，一句多余的话都没有。邱、孙明白，解放军解放开封，士兵登上河南保安司令部楼顶。这是最严厉的命令，毫无情面的命令，谁都不得违背。
粟裕出人意料地卷击开封，的确是指挥上的绝招、妙招，不能说“前无古人，后无来者”，但可以说旷世奇观，神来之笔。但是，豫东战役才开了个头，他所说的他“亲身经历的最复杂、最剧烈、最艰苦的”仗还在后头。邱兵团到开封，粟裕的三、八纵队已于前一日远去。邱清泉报告南京：“胜利收复开封，共军南逃，请示。”蒋介石复电嘉勉，命顾祝同到开封传达战略意图：粟裕不敢与我大兵团野战，不敢占据城市，也不会就此退走，其有限之作战企图，仍系故技重演，往来掣动，诱我单兵，伺机聚歼。我之方针，保持大兵团作战，究追不舍，逐一将其吃掉。南逃两个纵队经开封之战，元气大伤，邱兵团应放胆追歼，一兵一卒也不让他逃掉，到那时，粟裕主力可能不招自来。区寿年兵团、黄百韬兵团依次搜索西进，与邱清泉兵团保持适当距离，互为策应，寻战粟裕，堵截东窜残敌。此时，蒋介石逐步开始酝酿一个大的会战计划，即6个兵团25万人的兵力汇集河南杞县、睢县地区，力求聚歼粟裕主力。蒋介石的计划是邱清泉兵团5个师的兵力由开封向杞县攻击，区寿年兵团两个师的兵力由民权向睢县攻击，黄百韬兵团3个师从商丘向睢县攻击，吴绍周兵团、杨干才兵团以及胡琏兵团从驻马店向杞县、睢县攻击。
中原风云突变。而此时，粟裕因长时间地紧张工作、指挥战役，病倒了，高烧不退，一天骑马行进中，因发烧昏迷从马背上摔了下来，十分危险。于是，粟裕不再骑马，叫参谋找来一辆马车，他坐在马车上奔驰战场，指挥其后的恶战。从驻马店增援的胡琏兵团等被刘伯承、邓小平、陈毅阻在漯河、周口之间，北边的几路增援敌军可需要粟裕想办法处理。粟裕当时见黄百韬兵团离战场尚远，区寿年兵团又最弱，决心吃掉区寿年，但他与邱清泉距离太近，不便割歼。围歼区兵团的首要条件，就是要拉开它与邱兵团的距离，这样才便于我军穿插分割，各个击破。但须知敌人毕竟不是受我们直接指挥的，尽管有时也不自觉地被我军牵着满地跑，然而到底不是那么容易办到的。6月26日晨，粟裕命令我军第三、第八纵队按预定计划，由开封向通许方向转移，诱使邱兵团西进；第一、第四、第六纵队向杞县以南地区隐蔽集结。增援之敌原想乘我尚未攻克开封之际，在开封地区合击我军。但我军攻克开封后的第三天即主动放弃该城，分两路南下。这样一来，粟裕既巧妙地利用了邱清泉急于西进开封捞取资本的心理，又魔术般地造成了区寿年的错误和犹豫。果然，敌两个兵团，1个向西向南疾进，1个却在原地踌躇不前，一天之内即拉开了40公里的距离。机会绝好，我军迅速楔入敌两个兵团之间。粟裕来不及查明区兵团的具体部署，即抓住战机，令突击部队发起攻击，边打边查明敌情。至29日晨，将区兵团部和整编第七十五师、新二十一旅包围于龙王店及其附近地区，并同时将整编第七十二师包围于铁佛寺一带。以阻援集团控制被围之敌以西20公里的杞县至王集一线。敌区、邱两个兵团至此已完全隔离，虽可以互相听到对方的枪炮声，但要想见面却难于上青天了。
当晚，粟裕以一部分兵力继续包围整编第七十二师，而主力则投入对龙王店之敌的围歼。铁佛寺到龙王店只有几里路，东面第七十二师的炮弹越过我分割部队竟落得了西面的第七十五师头上，第七十五师也毫不客气地予以回敬。真够热闹的。7月1日下午，西边的邱兵团在我军节节阻击下，进至距区兵团约10公里的官庄、张阁一线；东线敌黄百韬兵团，由东向西增援区兵团，已抵达被包围的整编第七十二师以东约10公里的帝丘店地区。东、西敌两个兵团一齐压来、形势异常紧张，是坚持还是改变原定战役计划，必须当机立断，刻不容缓。粟裕在这里表现出巨大的决心和气魄，他一边加速攻歼区寿年兵团，一边又以4个纵队东移，准备围歼黄百韬兵团。
这边，粟裕紧张；那边，蒋介石着忙。区寿年兵团被围后，蒋介石几度亲自飞临睢杞地区上空督战，甚至用杀头来威逼邱清泉，要其迅速靠拢，但已无济于事了。在相距不足十几公里的地段上，敌人竟好像碰到了一堵魔墙，任凭怎样冲击，也难逾越半步。邱清泉以1.5万人伤亡的代价，换来了一张观看西洋景的戏票，眼睁睁地望着区兵团灰飞烟灭却无能为力。1948年7月1日下午4时，粟裕在他的马车上下达了总攻区寿年兵团部的命令，各纵队立即做好总攻准备，龙王店地区在流火的7月中艰难地捱着时日。
黄昏，盛夏的骄阳带着炎热从西边消灭了。大地上人影晃动，由重机枪、六○炮、八二迫击炮、九二步兵炮等组成的团火力队进入了阵地。晚9时许，开始了火力袭击。顿时，火光闪闪，炮声隆隆，夜幕被撕裂了，大地似乎都在颤抖。虽然当时我军重型的大口径火炮未能赶来，但各种小炮也集中了几十门，加之友邻及其他方向上的炮火，打得龙王店烟火弥漫，炸声不绝于耳。随之就传来了敌坦克、汽车的马达声，枪炮的发射声，哭爹叫娘的喊叫声和怨天怨地的叫骂声。可以想象得到，龙王店的敌人已经乱作一团了。
区寿年的兵团部和整编七十五师师部设在镇中心，紧紧相邻。区寿年企图凭借他多层的外围障碍和坚固的土围子，抵挡住我军的进攻，至少坚守个三天五日的，却怎么也没料到，开战不到3个小时，防线便被纷纷突破，使他变成了瓮中之鳖。所以，一面令他的部下死守，一面悄悄准备乘坦克逃跑。战斗在激烈地进行着。我军各部队同敌人逐屋逐院地展开争夺，敌人依托的高大房屋和坚固墙垣上的火力点越来越少，包围圈越来越小了。失去了防御依托的敌人犹如被风暴吹迷了的羊群，惊恐万状，在几条主要街道上乱跑乱撞。
突然，敌人的四辆坦克从街心开了出来，沿着大街直奔东大门。街道上来不及躲闪的十几名敌人惨叫着被轧死在坦克的履带之下。我军的许多干部战士都是第一次见到坦克，不知道应该怎么对付它。有的端着步枪、机枪，猛烈地扫射；有的像打步兵一样，咬牙切齿地投出了一颗颗手榴弹。但敌坦克照旧前进。这时有人高喊：“把几颗手榴弹捆成一捆，炸坦克履带。”可是，由于事先没有准备，一时来不及，敌坦克仍然高速向东门冲来，企图从东门突围逃走。第一辆敌坦克到达东门口时，忘记了大门早被一排排装满沙土的草袋堵死了。敌坦克发出一阵刺耳的嚣叫，冒出一团团浓烟，穷凶极恶地向门楼撞去，“哗啦啦”，门楼塌了一个角，仍然无法通过。敌坦克发了疯，接连撞了四次，还是没有撞开一个口子，它只好拐个弯，急急如丧家之犬，惶惶似漏网之鱼，沿围墙向南爬去。第二辆敌坦克见从东门突围无望，就顺围墙向北窜去。后边的两辆坦克挤在街道上，被我军团包围着，无法行进。当时任华野六纵十八师五十二团参谋长的袁捷在回忆录中写道：
