日軍此戰雖成功擊退我軍攻勢,並達到包圍臺兒莊的目標,但連日激戰,傷亡過大,不得不向支隊本部再度求援.但此時瀨谷支隊遭到20軍團的攻擊,分不開身.10師團師團長磯谷廉介情急之下,命令瀨谷支隊對臺兒莊全力進攻.瀨谷命令福榮真平大佐率63聯隊第3大隊增援臺兒莊.我軍砲兵部隊第52團8連亦趕至臺兒莊.雙方枕戈待旦,磨刀霍霍.

27日,日軍在火砲在掩護下,再度衝入鎮內,雙方拼死搏殺,而鎮外戰鬥亦十分慘烈,在肅清我軍部隊後,日軍攻進西門和浮橋,遭我軍砲擊,戰車六輛被燬,饒是如此,守軍已無力將鎮內日軍肅清,此時,佔領清真寺的日軍向磯谷報捷,謂:勝利在望.

由於戰情如火,李宗仁急令20軍團放棄攻擊瀨谷支隊,全力支援臺兒莊,並令31師於29日前,肅清鎮內日軍.湯恩伯令85軍監視瀨谷支隊,52軍向臺兒莊急進.28日,31師再度以小部隊攻擊日軍陣地,日軍頑強抗擊,31師犧牲慘重,亳無戰果.此時,日軍展開反攻,池峯城將所有可戰之兵,全投入戰鬥.由於軍委會嚴令第2集團軍死守,孫連仲集中部隊,全力攻擊鎮外日軍,並嚴懲作戰不力的軍官,並將擅退之軍官,陣前正法,使士氣大振.中日兩軍亳不相讓,以死相搏.

29日,鑒於第10師團在臺兒莊戰情膠著,亳無進展,第二軍軍部令第五師團坂本支隊放棄臨沂,向臺兒莊增援,並令瀨谷支隊不再理會20軍團,全力向臺兒莊進攻.戰局起了重大變化.30日,中國空軍空襲日軍陣地,日軍展開報復,擴大佔領面,幾乎攻下臺兒莊一半的區域.我軍組織敢死隊,喬裝成日軍,撲向日軍陣地,為日軍所阻,僅13人生還.21:00,日軍瀨谷支隊主力部隊進入戰塲,戰區發現敵蹤,急令20軍團於31日前趕到臺兒莊

31日,中日爆發最慘烈的戰鬥,臺兒莊內外,整營整團的軍隊,迅速化成屍山血河,27師部隊在劉家湖與日軍爭戰,砲兵部隊毀於日軍砲火.但鎮內31師部隊已無力防守,孫連仲令30師部隊前往增援,深夜八時,日軍發起總攻擊,欲全殲31師,幸援兵即時趕到,方穩住陣腳.此時,該抵達臺兒莊的20軍團,在行進途中,碰上了第五師團的坂本支隊,可謂仇人相見,份外眼紅,兩軍在向城交火,85軍89師部隊遭日軍擊退,湯恩伯調第4師阻擊坂本支隊,此時,駐守獐山的日軍部隊,亦調過頭來,欲夾擊20軍團.為免部隊遭到夾擊,湯恩伯下令轉移部隊,52軍監視臺兒莊,主力經洪山向向城、愛曲側擊,85軍攻打魯坊、南橋,掩護62軍.如此,20軍團躲開了遭夾擊的命運,但卻等於讓開了大路,讓坂本支隊得以前進臺兒莊.

坂本支隊到達臺兒莊之後,與10師團取得聯繫,使得瀨谷啟再無後顧之憂,傾全力對臺兒莊外圍陣地,發起攻擊,戰局對我方更為不利.27師部隊與日軍展開激烈的陣地爭奪戰,陣地數易,子彈用盡,更以大刀肉博,戰至性起,更以原始的拳打、腳踢,甚至嘴咬,最後日軍終攻下彭村.但27師的悍猛,更令日軍為之肅然起敬.第10聯隊呈給師團部的戰報有以下記載:對支那陸軍第27師80旅昨日以來的戰鬥檢討,無愧於蔣介石對他們的極大信任.他們據守散兵壕內重疊而枕,力戰而死之狀,雖為敵人,觀其壯烈之態,亦為之感歎........

此時,中央再度調動的生力軍,亦達五戰區,李宗仁將其撥歸20軍團指揮,並下達了全殲日軍的命令.4月3日,日軍再度對27師發動猛攻,在日軍猛烈的砲火下,工事全燬,但該部仍以血肉,與日軍相拼.但在日軍優勢武力下,部隊整營整團的犧牲,此時27師可戰兵力,已不足抵擋日軍的進攻,就在此時,第二集團軍的獨立44旅及時趕到,穩住陣腳,而20軍團更擊破坂本支隊,向瀨谷支隊逼近. 蔣介石此時已到徐州親自坐陣,更電令所有部隊:限10日之前,擊破臺兒莊之敵.......如限期內不能擊退該敵,師長以上指揮官,一律以軍法從事.....

由於日軍全力的進攻,臺兒莊內死傷狼籍.31師師長池峯城再也撐不住了,致電請求撤退,但遭孫連仲嚴拒.池峯城幾近懇求,但孫連仲態度十分堅決,在電話中下達命令:士兵打完,軍官填上,軍官打完了,你去填上,你完了,我就來,有敢退過運河者,殺無赦！池峯城知道撤退無望,慨然道:報告總司令,我絕對戰至最後,哪怕只剩一兵一卒....

孫連仲親至31師師部所在地,集合所有傷兵,每人發大洋十塊,令其向日軍展開突擊,所有的士兵,將錢丢在地上,扛起了大刀,對孫連仲道:命都没了,錢有什麼用？我們只要求老總,跟我們的家人說我們是為了抗日,為了保衛國家,光榮戰死的.......話一說完,孫連仲亦流下了英雄之淚,向出擊的戰士敬禮.4月4日,31師的敢死隊,撲向了日軍陣地.苦戰竟日的日軍部隊,在敢死隊的大刀下為之神奪,戰意崩潰,紛紛敗走.而此時,第五師團坂本支隊,已遭20軍團包圍,陷入了苦戰.5日,坂本支隊慘遭擊潰,殘軍向臨沂方面撤退.

此時,李宗仁向 蔣介石報告20軍團猶豫不前,貽誤戰機,引起 蔣介石的憤怒,嚴令20軍團立刻向臺兒莊進軍.湯恩伯向 蔣介石報告20軍團與日軍第五師團、第十師團戰鬥多日,戰力嚴重受損,懇請退出戰鬥,重新休整再戰, 蔣介石只是電告湯恩伯:應急嚴督所部於6、7兩日奮勉圖功,殲滅此敵.....湯恩伯至此,没有退路,令75軍控制制高點,主力部隊以騎兵為前鋒,向臺兒莊攻擊前進.同時致電池峯城:明日決將臺兒莊之敵擊潰,與貴部會合.如不成功,干當軍令.就在國軍層層包圍下,苦戰多日的瀨谷支隊,終不顧師團部的反對,倉皇後撤.7日,與坂本支隊的殘兵合流,在官莊休整待命.

7日李宗仁下達總攻擊令,日軍一路敗退至嶧縣,在嶧縣固守待援,與我軍形成了對峙.......

臺兒莊戰役結束後,由於是抗戰以來的第一次戰勝日軍,舉國歡騰.更使全國人民相信,勝利必將屬於我方,作戰意志更加堅定.中國人民至此,以堅定的信念與勇氣,與日本侵略軍,纒戰八年,迎接了最後的勝利