1947年9月2日，陳毅、粟裕在毛澤東多次催促下，終於率領王必成六縱、宋時輪十縱、曾生兩廣縱、陳銳霆特縱及野司直屬部隊自陽谷秘密南渡黃河，5日，在鄆城與陳士榘、葉飛會師。

此時國軍部署為，自左至右分別為劉汝明68軍、段霖茂98軍、邱清泉第5軍、吳化文84軍以扇形壓迫陳唐、葉陶兩兵團，以方先覺88軍為預備隊。

此時的國軍狀況有些像1946年二戰四平後追擊林彪，不再緊密聯結，而是各自大膽追擊，甚至有師、團單獨追擊的。

此時的國軍看待魯西南共軍，認為葉陶兵團已無戰鬥力，又有兩個師竄往魯東南；狀況稍好的陳士榘兵團，宋時輪十縱已經北竄黃河，何以祥三縱在濟甯之戰遭到重創。因此，大致是釜底遊魂。

然而，國軍卻並不知道毛澤東命令劉伯承南下時留下了王秉璋十一縱，補強華野西線兵團；更不知道陳粟已南渡黃河，此時魯西南共軍總兵力已近20萬之眾。

9月7日，最為突前的段霖茂98軍在菏澤以東50裡的沙土集遭到共軍突襲；

粟裕的部署為：

1、陳士榘率領何以祥三縱、王必成六縱、王建安八縱、陳銳霆特縱負責圍殲98軍；

2、宋時輪指揮十縱、六縱梁金華17師、兩廣縱負責阻援；

3、其他部隊做預備隊。（葉飛一縱、陶勇四縱、王秉璋十一縱）

惡鬥至9日清晨，98軍覆沒，軍長段霖茂、60師師長王理直、117師師長羅覺元悉數被俘；華野傷亡約4千人。

（注：段霖茂不久買通看守一起逃出，1975年8月於臺北去世；段霖茂字雨農，與戴笠相同，運氣卻是千差萬別。）

蔣介石得知陳粟南渡黃河後，遂從大別山抽調羅廣文14軍、楊幹才20軍，正在淄博休整的胡璉18軍趕赴魯西南。

9月20日，粟裕得悉胡璉18軍已自商丘北上，即將到達曹縣，遂決心一報兩個月前南麻戰敗之恥辱。

粟裕是這樣看南麻之敗的：

1、南麻之戰，未能殲滅胡璉18軍，主要是留給該軍長達半個多月修築工事的時間，以至於發起攻擊後，該軍已修築起堅固完備、縱深立體的防禦工事；

2、整個南麻戰役期間，陰雨連綿，導致土地泥濘，不利於我軍衝鋒。

而此刻：

1、在曹縣與18軍狹路相逢，此地周遭皆為平原，18軍搶佔不了任何制高點；

2、兩軍倉猝相逢，敵人沒時間修築什麼完備工事；

3、此際天空晴朗，萬里無雲，不會有天公壞事；

4、論兵力，敵軍總數2.7萬，我近20萬；

5、敵軍千里迢迢，遠道而來，舟車勞頓，而我以逸待勞。

粟裕遂下決心在曹縣以南土山集一帶圍殲18軍。

22日，18軍到達土山集、大義集；覃道善18師進駐土山集，胡璉率11師、118師進駐大義集。

共軍隨即發起圍攻：

1、粟裕親率葉飛一縱、陶勇四縱佯攻大義集；

2、陳士榘率何以祥三縱、王建安八縱、陳銳霆特縱，圍攻土山集；待全殲18師後，再與葉陶合力圍攻大義集；

3、宋時輪十縱負責阻擊自鄆城南下的邱清泉第5軍；

4、王秉璋十一縱負責阻擊自濟甯南下的沈澄年75軍；

5、王必成六縱、兩廣縱為預備隊。

土山集戰役，共軍的失敗，首在於土山集方向共軍的炮火過於猛烈；結果對大義集的佯攻，被胡璉迅速識破，胡璉於24日清晨命令楊伯濤11師對陶勇四縱發動逆襲，至晚間，四縱已無力再戰。

而在土山集，陳士榘以兩個軍的兵力四面圍攻覃道善師兩個團，還有炮兵縱隊相助，猛攻了三天三夜，雖數度突破攻入村內，但又被18師以白刃戰、肉搏戰逐出。

25日拂曉，宋時輪表示對第5軍的阻擊陣地已難以維持；最要命的，是在大義集以西，突然出現了羅廣文14軍。粟裕掌握的情報，並沒有14軍增援曹縣的通報。

情勢至此，粟裕只得下令解圍。

土山集之戰（國軍戰史稱為曹縣之戰或曹縣遭遇戰），華野傷亡六千餘人，18軍傷亡約三千人。

胡璉以南麻、土山集兩次以少勝多，實為國軍楷模，晉升整編第18軍軍長；覃道善升任18軍副軍長；蕭銳升任18師師長。

曹縣遭遇戰後，粟裕令宋時輪率領十縱、王秉璋十一縱留在魯西南打遊擊，自率其他部隊南下隴海路，以減輕劉鄧在大別山的壓力；但由於7-9月的作戰，華野傷亡較大，官兵疲憊不堪，實際陳粟南下豫皖後，也是以休整為主，輔以些許遊擊戰。