1938年初，裝甲兵團（團長杜聿明）在湖南擴編為第二百師，為當時國軍唯一機械化部隊；在取得蘇聯軍援後擴編為新編第十一軍，裝甲部隊自第二百師抽離合編為裝甲兵團，由軍級單位統籌使用。1939年2月，啟用第五軍番號。1939年12月底至1940年初，華南發生桂南會戰，第五軍擔任昆侖關戰役主力以重大傷亡奪回昆侖關，之後調後方整補。1941年12月，日軍偷襲珍珠港，隨後進攻緬甸，企圖切斷中國唯一對外之陸上補給線。由於英軍迅速潰退，中國軍隊陷入日軍包圍。5月8日上午，日軍攻占密支那，指揮官杜聿明按蔣中正7日的命令，下令部隊經退回雲南。孫立人拒絕接受撤往中國的命令，率新編第三十八師撤往印度蘭姆迦整補訓練，後支援新編第二十二師撤往印度，其部所受損失較少(入印後新編第二十二師脫離第五軍建制，改編入新一軍）；第二百師及第九十六翻越滇西縱谷返回雲南，第五軍本部直屬部隊則自野人山返國，途中在原始深林內承受重大損失，部隊減員過半，重裝備全部丟失，第二百師師長戴安瀾陣亡。

1947年初，轉調華東，於山東一帶與解放軍作戰。年底，改為整編第五師，師長邱清泉，下轄第四十五旅(第四十五師)、第九十六旅(第九十六師)、第二百旅(第二百師)。

1948年，恢復軍級番號，駐徐州。11月，國共徐蚌會戰試圖解第7兵團（黃百韜）之圍未成功，返回徐州。

1949年1月，在陳官莊被圍，僅突圍逃出8000人。之後在後方以第五軍番號重建，撤往金門。

1954年7月1日，第五軍與第十九軍在福建金門併編為陸軍第四軍，軍長胡翼烜中將。