从开始提出歼灭黄维兵团的设想，到黄维兵团12万卝人被全部消灭结束，都是粟裕主导的，刘伯承只是按计划被动行卝事。

在华东野卝战军围歼黄百韬兵团期间，粟裕就在考虑第二阶段歼敌目标。早在1948年11月7日、8日，即淮海战役刚开始，粟裕就提出第二阶段歼灭黄维第十二兵团或孙元良第十六兵团。此时，中卝央军委也设想“第二仗，歼灭黄维、孙元良，使徐州之敌完全孤立起来”。
11月18日，粟裕致电中卝央军委和刘伯承、陈卝毅、邓小卝平：邱清泉、李弥东援部卝队进程甚缓，估计他们已不敢大胆东援。因此纵敌东援歼灭可能性不大，准备随时转移兵力到南线作战。

11月19日，按照粟裕的设想，刘伯承、陈卝毅、邓小卝平提出：华东野卝战军在歼灭黄百韬兵团后，将主力集中在徐州东、徐州南，监卝视邱清泉第二兵团、李弥第十三兵团、孙元良第十六兵团，争取休息十天半月，同时以尚未使用之5个纵队或3个纵队用于南线，由中原野卝战军协同歼击黄维第十二兵团、李延年第六兵团。
11月20日，粟裕、陈士榘、张震致电刘伯承、陈卝毅、邓小卝平，并报中卝央军委、华东局，表示“完全同意刘陈邓的设想，抽卝出四至五个纵队，必要时还可增加三个纵队，由中野协同歼击黄维、李延年”。同时，他们建议“首先求得彻底歼灭黄维兵团为主”。在此电报中，他们还判断：黄百韬兵团被歼灭后，邱清泉兵团、李弥兵团与黄维兵团、李延年兵团有以宿县（今宿州市） 为中心对进，以图打通津浦铁路联卝系之极大可能。为此，他们决定以四个纵队加两个旅阻止李延年兵团、刘汝明兵团北进，以八个纵队呈大弧形包围徐州，监卝视和钳制徐州之敌，阻止他们南援，全力保歼灭黄维兵团的胜利。当晚，粟裕派4个纵队分途南进，执行围歼黄维兵团的任务。
粟裕的几次设想，越来越接近战争发展实际，成为第二阶段歼敌目标的主导意见。