徐州突圍戰後,李宗仁堅持他的游擊戰略是正確的,是可行的,因此將部隊化整為零,游擊於第二軍的後方,企圖拖住、消滅日軍第二軍,以雪徐州戰役的恥辱.因此,除了廣濟會戰及田家鎮之戰外,全都是游擊戰.但東久邇宮稔彥親王所率領的日本第二軍,不同於11軍是後備師團所組成,全是能征善戰,勇猛慓悍的王牌部隊.第五戰區的游擊戰術,全遭第二軍的瓦解、打擊.8月底，日軍攻佔六安、霍山，並繼續向固始、潢川推進,李宗仁凜於第二軍的軍威,急向中央請援.軍委會急調胡宗南部隊,前住救援.胡部向信陽、武勝關集結.此時李宗仁突告病,由白崇禧代理五戰區司令長官.為了爭取寶貴的集結時間,白崇禧令27軍團軍團長張自忠率嫡系第59軍,向潢川佈防.白下給張自忠的軍令是,死守潢川至9月18日.

此時,向固始、潢川直撲而來的,是日軍第10師團.原師團長磯谷廉介因臺兒莊戰役遭到撤職,由筱家義男中將接替.第10師團接獲中共所提供的59軍出擊的情報,欲雪臺兒莊戰役的恥辱,因此,主動請戰.中日兩軍向時間賽跑,日本軍是整個裝甲部隊,向潢川前進.但59軍卻是放棄所有重裝備,全體官兵,只攜帶步鎗、大刀等輕裝備,星夜向潢川強行軍.由於第59軍多半為北方子弟,水土不服,再加上臺兒莊、徐州會戰之後,五戰區根本沒有給59軍給養、休整,59軍失去的戰力,沒有獲得補充,因此行軍途中,多有兵士死於路上.但兵貴神速,張自忠不得不狠下心腸,嚴令部隊前進.終在9月8日,提前日軍進城.

張自忠此時亦身患瘧疾,但仍強忍不適,指揮部隊於潢川、七里崗、春和集等地佈防,38師擔任預備隊,設於潢川城西二十里鋪,軍部則設置於任大莊.正當各部忙於搆築工事時,第10師團出現於春和集城,立刻砲擊守軍.雙方爆發激戰,守軍以大刀、步鎗,力抗日軍的坦克、重砲,死傷慘重,但守軍死守不退.張自忠強忍病痛,指揮作戰,並下嚴令於各部隊:各部隊長必須親自督促所部搶築工事，不惜一切犧牲，與陣地共存亡！並給潢川守軍獨立第39旅旅長安克敏下達死軍令:你要死守潢川，潢川就是你們的棺材!

11日,春和集守軍敗退,日軍攻占春和集,續攻黃崗寺,遭國軍獨立26旅的頑強抗擊,日軍岡田旅團傷亡過大,無力再戰.14日,稻穀旅團擊退26旅,重砲兵佈防於黃崗寺,有鑒於59軍的頑強.日軍利用小部隊吸引59軍的主力,主力溯淮河西上,向潢川以西、以北迂廻,15日攻陷息縣,進犯羅山,企圖切斷59軍的退路,進而全殲59軍.面對險峻的情勢,張自忠下令38師主力向西北方向出擊；另以113旅一個團向潢川以北十五里鋪出擊，阻止日軍後續部隊由此增援息縣；以180師主力配置於潢川西郊，掩護城防部隊後方；軍部則由城西移至城南.

15日中午,日本騎兵部隊突擊軍部,張自忠率軍部所剩之手鎗營官兵,以大刀砍殺進犯之敵,同時急調部隊支援,激戰半日,終擊退進犯之敵,由於屢攻屢敗,為求瓦解59軍的作戰意志,日軍向我軍陣地,施放毒氣,造成國軍部隊慘重的傷亡.16日,日軍攻破七里崗陣地,直攻潢川,潢川守軍拼死力戰,死守不退.張自忠率180師和59軍軍部殘兵,進入潢川城,守軍士氣大振.中午時分,第10師團集結所有的坦克、重砲,轟擊潢川,並佐以毒氣,使得守軍死傷慘重.張自忠一面令人分發毛巾,摀住口鼻,堅持戰鬥,一面令38師迂迴至敵人後方,發起突擊,以牽制敵軍,惜為日軍所破,無功而返.

17日,城內防禦工事,幾遭日軍轟毀,城西、城北角已為日軍砲火轟成一片瓦礫.筱家師團長下令步兵衝鋒進城.張自忠率部隊與敵肉搏,雙方宛若清代戰士,以大刀、刺鎗拼死對決,震耳欲聾的砲聲不見了,取而代之的是撕人肺腑的喊殺聲,刀鎗互擊的撞擊聲及刀砍進人體的肌肉、骨骼的斷裂聲及哀嚎、呻吟聲.18日,羅山淪陷,59軍退路已斷,亦已無力再戰.19日凌晨,張自忠下令部隊自潢川西南突圍,清晨,日軍進入潢川,長達12日的潢川保衛戰,至此結束.

由於慘烈的潢川保衛戰的經驗,给了日軍靈感.日本保守派將領所組成的「天劍會」組織,向大本營建言,仿效中國軍建制,在日本軍中設置配備手鎗、武士刀的武術隊,專司對中國軍衝鋒、肉搏,得到大本營的首肯.日後太平洋戰爭(日本稱之為大東亞聖戰)爆發後,日軍武術隊縱橫東南亞,令英美盟軍聞名喪膽.且在攻略雲南、四川的戰役中,中日部隊大刀對決,讓中國部隊也嘗盡了苦頭.但在騰衝戰役,國軍拼著極大犧牲,終全殲日軍武術隊,這個以後再聊.