臺兒莊戰役結束之後,日軍殘兵退守嶧縣、棗莊,緊急向第二軍求援,並開始加強己身的防禦,抵擋國軍部隊的反攻. 蔣介石得知第二軍有向徐州移動的情況,為免兩股日軍合流,威脅徐州,開始調動大軍.除將大戰過後的軍隊撤下整補外,亦要一舉將第五、第十兩師團殲滅,以求集結全力,與遠道而來的日本第二軍對抗.

民國27年4月9日,在空軍的協同作戰之下,國軍對嶧、棗之敵發起進攻,但日軍拼死抵抗,雙方死傷頗重.另一方面,藉由兩師團的犧牲,日本第二軍兵分兩路,自瀧海、津浦兩路向徐州星夜前進. 蔣介石獲得情報,心急如焚.12日急令各部「務必於一、二日之內,將殘寇殲除」.此時,在徐州的作戰部隊,已集結六十萬.若全力出擊,未必沒有勝算,但此時,另有盤算的李宗仁,卻摃上了軍事委員會.

李宗仁向 蔣介石提出:抗戰應避免陣地戰,以運動戰消耗日軍力量,積小勝為大勝.採用機動攻勢,將主力轉用於日軍陣地之內,尋求戰機....... 蔣介石不以為然,但李宗仁以辭職相脅.此時的李宗仁,因臺兒莊戰役之故,聲譽正隆,若讓其辭職,將嚴重打擊部隊士氣及民1心, 蔣介石只有忍氣吞聲,收回成命.而李宗仁不僅不再與日軍作戰,同時亦停止各部隊的整補.

日本部隊在此時,以第16、第144師團增援北線的第5、第10師團，沿津浦路向南推進，以誘引中國軍隊主力；以第14師團從濮陽渡黃河入魯西南和豫東，斷隴海路，從而阻遏援徐州之中國軍隊，亦斷徐州守軍退路；以第13師團在南線的蚌埠、懷遠間集結；以第6、第9師團向鳳陽、合肥進逼；以第101師團向蘇北攻擊。4月16日,兵力獲得整補的日軍第五師團,以重組的坂本支隊兩個大隊及新建之國崎支隊,兩路夾擊臨沂.臨沂守軍血戰三日,終不支撤退,臨沂一失,徐州門户大開.
`

此時,方覺大勢不妙的李宗仁,以殘破的第20軍團,組成魯南兵團,令其於江淮平原,抵擋日軍的進擊,第二集團軍的孫連仲,組建瀧海兵團,沿瀧海鐵路佈防,令滇軍六十軍赴禹王山禦敵.五月,湯兵團由於兵力不足,節節敗退,兩路日軍於懷遠會師,形成一隻鐵拳,準備擊向徐州,與中國主力野戰軍進行決戰,企圖摧毀中國之有生戰力,迫使中國談和. 蔣介石見勢已不可為,只有令李宗仁退出徐州,避免決戰.李宗仁令瀧海兵團掩護大部隊撤退,卻置魯南兵團於不顧,同時令血戰多日,早已精疲力竭的六十軍死守,令兩軍極度不滿.18日,李率司令部人員撤離,在沒有後援的情況下,湯恩伯率軍自行從大別山撤退,而六十軍則與孫軍取得聯繫之後,自行撤退,欲與孫軍會合,卻遭日軍追擊,死傷甚重.19日,徐州淪陷,徐州會戰,正式告終.

李宗仁此番的部署,犯了幾個致命的錯誤,其一 妄自尊大,遺誤戰機,致使日軍迅速恢復戰力,重起進攻.其二 在主力兵團聚集時,竟不把握時機,整補兵力,致使前綫部隊以殘破之軍,對抗日本虎狼之師,豈有不敗之理,其三 六十軍為我軍在抗戰時,少數的機械化部隊,李宗仁不令他們發揮所長,於平原地迎戰日本侵略軍,反令他們去守禹王山,致使許多戰甲車、火砲被迫放棄,官兵以血內之軀,迎向日軍,最後又企圖拋棄他們,致使該軍幾乎全軍覆沒.使得六十軍軍長盧漢,及滇軍戰士,痛恨李宗仁及國民政府,種下了日後盧漢叛國的遠因.

徐州會戰雖以失敗告終,但卻已遲滯日軍行動,嚴重打擊日軍士氣,日軍遭此打擊,重新評估中國戰力.同時,開始尋求與國府的談判,被拒絕之後,開始宣揚和平運動,企圖分裂國府,瓦解抗日陣營,而有日後的汪偽政府的出現,影響深遠.徐州會戰同時亦振奮了中國人民抗日禦侮的決心.在 蔣介石的領導下,同仇敵愾,迎向敵人的砲火