1939年2月，啟用國民革命軍第五軍番號。師長余韶。1939年12月底至1940年初，華南發生桂南會戰，第五軍擔任昆侖關戰役主力以重大傷亡奪回昆侖關，之後調後方整補。1941年12月，日軍偷襲珍珠港，隨後進攻緬甸，企圖切斷中國唯一對外之陸上補給線。國民政府應英國之請於12月底起派出第五軍、第六軍及第六十六軍為遠征軍入緬甸。當時第五軍下轄第二百師、新編第二十二師(師長廖耀湘)、第九十六師。第五軍軍長杜聿明後在史迪威壓力下，兼任遠征軍代理司令長官。

1947年初，轉調華東，於山東一帶與解放軍作戰。年底，改為整編第五師，師長邱清泉，下轄第四十五旅(第四十五師)、新編第九十六旅(新編第九十六師)、第二百旅(第二百師)。

1948年，恢復軍級番號，駐徐州。11月，國共徐蚌會戰試圖解第7兵團（黃百韜）之圍未成功，返回徐州。

1949年1月，在陳官莊被圍，僅突圍逃出8000人。之後在後方以第五軍番號重建，撤往金門。

1954年7月1日，第五軍與第十九軍在福建金門併編為陸軍第四軍，軍長胡翼烜中將。