民國27年3月16日,滕縣保衛戰爆發之後,李宗仁再度向中央求援.由於救兵如救火,18日, 蔣介石下令原屬第一戰區,正在河南許昌休整的第二集團軍孫連仲及在歸德休整的第20軍團湯恩伯,轉隸第五戰區,星夜向徐州前進.第二集團軍在山西娘子關曾與日軍第二＋師團交手,而20軍團的前身-第13軍,在南口、雁門關更與有鋼軍之稱的第五師團交手,頗受損失,這次可說是仇人相見了.

3月21日,第二集團軍的先頭部隊第31師池峯城部,抵達臺兒莊.李宗仁即令該部沿韓莊、臺兒莊運河佈防,防備嶧縣之日軍,並掩護湯軍團殲滅棗莊之日軍後,再合擊嶧縣之敵.同時,31師暫歸20軍團指揮.3月18日,第十師團攻陷滕縣,日軍第二軍軍部令該師在滕縣集給,等待蚌縣部隊的北進呼應,及在臨沂受阻的第五師團會合,合力進攻徐州.但磯谷廉介不願等待友軍會合,想自已一舉攻下徐州,拿下開通津浦路的首功,便揮軍南進.20日,日軍攻陷韓莊,但在渡運河時,遭到自河南趕到的20軍團52軍的攻擊,只得退回韓莊,隔河對峙,另一支部隊則攻陷嶧縣.

這時,有兩條路可以進攻徐州,磯谷廉介決定沿嶧縣向臺兒莊攻擊.此時,以第＋聯隊、63聯隊為主力的瀨谷支隊,向臺兒莊撲擊而來.五戰區決定20軍團擔任誘敵任務,再以第二集團軍在運河採攻勢防禦,消耗日軍戰力,再由20軍團繞至敵後,在臺兒莊殲滅來犯日軍.22日,湯恩伯與31師師長池峯城會面,承諾31師堅守三天,就算完成任務,軍主力將不顧一切,攻擊側背,協力夾擊.但計劃跟不上變化.

22日,瀨谷支隊第63聯隊抵達嶧縣,向臺兒莊進攻.下午,日軍偵察部隊發現微山湖有中國軍隊(20軍團)向夏鎮轉進.瀨谷啟即令第＋聯隊及支隊主力留駐臨城,使得側擊計劃失敗.23日,31師騎兵部隊在搜索時與日軍部隊接觸,向潘家庵撤退,但日軍並未進擊,反向獐山進攻,獐山守備部隊在火力懸殊下,全軍犧牲.日軍攻下獐山後,向泥溝進擊,突破守軍防守,進佔北洛.守軍185團退守南洛,面對此一情勢,李宗仁迅速令31師歸建第二集團軍指揮,並令孫連仲趕至臺兒莊指揮.孫連仲令在賈汪的42軍27師迅速向臺兒莊集結.第二集團軍的各路部隊也陸續抵達賈汪東北和臺兒莊以南.以30師防禦臺兒莊左翼,27師守右翼,44旅守備運河浮橋及擔任集團軍預備隊.面對此一情勢,日軍將主力集結臨城、嶧縣,以對付繞至背後的20軍團,進攻臺兒莊的派遣隊兵力不變.

24日,日軍臺兒莊派遣隊大舉進攻,攻陷劉家湖、園上,進逼臺兒莊,池峯城令南洛的185團反擊,在劉家湖與日軍反覆衝殺.此時,日軍在飛機、重砲、戰甲車的火力支援下,轟開寨牆,日軍步兵衝入鎮中,與31師展開搏殺,在守軍的奮勇抗擊下,日軍攻勢受挫,退出鎮外,但我軍186團團長王震重傷,由副師長王冠武接團長.為分散兵力,免得曝露在日軍的砲火下,白白犧牲,王冠武將186團3個營分散部署.當天深夜,鎮外村落鎗砲不絕,殺聲震天,白崇禧、孫連仲親臨戰地,為增強防禦力量,決定增派砲兵及鐵甲列車第三中隊前來增援.

另一方面,歷經兩日的戰鬥,日軍傷亡頗大,因此急向瀨谷啟求援.但此時,瀨谷支隊在棗莊、郭里集遭到20軍團的攻擊,根本無力增援,但為援助臺兒莊派遣隊,只能勉強調派兩個中隊增援,支隊集中主力,準備與20軍團決戰,並急向磯谷廉介求援.25日凌晨,31師全線出擊,光復斐莊,日軍據險頑抗,亳不退讓,此時日軍援軍已達,31師就地佔領陣地,並召回186、182兩團,增強防禦.

26日10時,得到增援的日軍,發起總攻,31師奮勇作戰,抵抗日軍的進攻,並命令185團的官兵,自側翼出擊,進攻日軍陣地,185團第三營殺至劉家湖,發現日軍砲兵陣地.官兵們褪去軍服,揮舞大刀,奮勇斬殺.日軍砲兵部隊向東敗退,此時日軍發現砲兵遭擊,派出一千餘人及兩輛戰車前來增援.日軍步戰協同,我軍死傷慘重,向三里莊後撤.幸後續援軍前來,185團免於被殲,但團長王郁彬、營長高鴻立全身受重傷.

午時,中日砲兵互相射擊,臺兒莊車站化為火海,我軍砲兵折損野戰砲一門,榴彈砲車一輛.16時,日軍轟垮北門,步兵蜂湧而入,我軍以大刀拼死肉搏,血戰至夜,終將來犯日軍逼退.但守軍31師傷亡慘重,孫連仲除令31師加強工事外,並急令27師部隊馳援.但26日,27師部隊在劉村遭日軍阻擊,團附鄭雲奇陣亡,不得不退回彭村.