在國民革命軍的編制序列中，歷史上曾先後出現過5個第31軍。分別為滇軍，北洋軍，西北軍，桂粵軍，青年軍。

武漢會戰

1938年8月4日，第七軍、第四十八軍、第八十四軍與日軍第6師團展開黃廣會戰（黃梅廣濟），8月26日，李品仙指揮第三十一軍克復太湖、潛山，切斷第六師團退路，日軍據險死守，並施放大量毒氣，新桂系第十一集團軍、第二十一集團軍兩集團軍雖頑強進攻，但犧牲慘重；30日，稻葉師團得到岡村寧次派出3200餘生力軍補充後，遂發起反攻，白崇禧在預備隊用盡後，被迫於9月6日下令撤退。

滇軍

滇軍金漢鼎等部組成的第31軍

該軍前身是滇軍一部。1926年6月，國民革命軍出師北伐後，隊伍迅速擴大。1927年4月，國民政府將滇軍金漢鼎部和朱培德第3軍一部擴編成為國民革命軍第9軍。1928年1月，第9軍改編為第31軍，隸屬第1集團軍，金漢鼎任軍長。下轄：第27師，楊如軒任師長；第28師，韋杵任師長；第29師，周志群任師長，及獨立第7、獨立第37師。該軍編成後，出兵參加北伐，兵鋒曾進抵河北青縣。同年秋，該軍移防江西，參加了對井岡山革命根據地紅軍的“清剿”後，第31軍的番號撤消，所部縮編為第12師。

北洋軍

北洋軍孫傳芳一部組成的第31軍

該軍前身是直系軍孫傳芳所屬一部，1927年5月，北伐軍攻克揚州後，將孫傳芳所屬北洋軍統一改編為第91、第92、第93師。同年6月，上述3個師合編組成第31軍。鄭紹虔任軍長，李明揚任副軍長。下轄：第91師，張中立任師長；第92師，李齊峰任師長；第93師，蔣毅分任師長。9月，該軍被何應欽部收編，番號撤消。

西北軍

西北軍孫良誠一部組成的第31軍

該軍前身是西北軍孫良誠部一部。1930年10月，中原大戰開始後，原西北軍孫良誠部所屬梁冠英部投降蔣介石，在河南被國民革命軍改編為第31軍（亦稱第25路軍）。梁冠英任軍長，下轄第32師，梁冠英任師長（兼）；獨立第5旅，鄭廷楨任旅長。1931年初，該軍由河南開至蘇北淮陰，隸屬江蘇綏靖督辦節制。1932年8月至1934年6月，該軍在鄂豫皖邊區，奉命參加了對鄂豫皖蘇區和紅軍的第四、第五次“圍剿”。1935年，該軍所屬獨立第5旅調歸第14軍。1936年12月，西安事變發生後，東北軍第106師（原石友三殘部）編入第31軍建制。此時，該軍下轄第32師，梁冠英任師長（兼）；第106師，沈克任師長。1937年初，軍長梁冠英任調任國民黨政府國民黨加軍事委員會中將高參，第31軍被裁減。

桂粵軍

桂系、粵系各一部組成的第31軍

該軍前身是桂系李宗仁所屬一部。1936年6月，桂系軍聯合粵系陳濟棠部發動“ 兩廣事變 ”反蔣後，被迫接受蔣軍收編，其中，將桂系李宗仁所屬部隊原轄5個師及粵系第19路軍殘部合編為第170師、第171師、第172師、第173師、第174師、第175師等六個師。

1937年8月，全國抗日戰爭爆發後，國民政府以第173師、第174師與第135師在南寧合編為第19軍，不久後，改稱第31軍，劉士毅任軍長，覃連芳任副軍長。下轄第135師，蘇祖馨任師長；第173師，賀維珍任師長；第174師，王贊斌任師長。1938年，該軍由南寧會師北上進駐徐州，隸屬第11集團軍。同年2月，軍長劉士毅調任國民黨軍事委員會軍訓部次長，由韋雲淞任軍長。5月，參加徐州會戰，擔任淮河北岸布防，抗擊北進日軍。徐州會戰後，該軍奉命移師武漢，隸屬第五戰區第21集團軍。8月，該軍參加武漢會戰，擔任防守武漢前方要地和武漢外圍主要陣地的作戰任務。武漢會戰結束後，該軍調往廣西桂林進行整訓。

1939年，國民黨軍調整部隊建制，該軍隸屬第16集團軍，原轄第173、第174師歸第84軍建制，另將第84軍第131、第188師改隸歸第31軍建制。此時，韋雲淞任軍長，賀維珍任副軍長，下轄：第131師，賀維珍兼任師長；第135師，蘇祖馨任師長；第188師，莫德宏任師長。同年11月，該軍奉命參加桂南會戰，擔任阻止日軍進攻的任務。其中，第135師擔任南寧和邕江北岸守備；第188師在崑崙關以北集結為預備隊。12月初，該軍一部向高峰隘方面執行攻擊作戰任務，牽制日軍，並以另一部進南寧東北四塘一線，阻止南寧日軍向崑崙關增援，以配合北路軍主力作戰。1941年7月，軍長韋雲淞免職，由賀維珍升任軍長。9月，該軍奉命參加第2次長沙會戰，主要擔任非主戰場的牽制性作戰。1944年8月，該軍參加桂柳會戰，在桂林防禦作戰中擔任防守任務。1945年4月，該軍被裁減，所轄第131、第135師被裁減，第188師改隸第46軍。

青年軍

青年軍一部組成的第31軍

該軍前身是抗日戰爭後期組建的青年軍一部。1944年12月至1945年4月，國民黨招募知識青年入伍，並配以基礎較好的師為骨幹，先後編成青年軍第201至第210師共10個師。1945年8月，抗日戰爭勝利後，國民黨軍將其第208、第209師在杭州合編為第31軍（亦稱青年軍），隸屬衡洲綏靖公署，黃維任軍長。下轄：青年軍第208師，吳嘯亞任師長；青年軍第209師，溫劍鳴任師長。10月，該軍所轄兩師精間後，所屬部分官兵士兵復員，兩師合編為新的208師，以吳嘯亞任師長，調赴北平行營。

1947年，又以第201、第204、第205師在台灣重新編成第31軍（亦稱青年軍），隸屬台灣警備總司令部。廖慷任軍長，下轄：第201師，潘國華任師長；第204師，龍嘯聲任師長；第205師，鄧文僖任師長。該軍編成後，擔任台灣守備任務。1948年初，該軍軍部及第205師奉命調至北平、第204師調至青島，分別擔任該地區防守任務。同年11月，第205師參加平津戰役。1949年1月，該軍軍部及第205師在北平和平解放中，接受人民解放軍的改編。第204師由青島撤退至上海。同年5月，第204師在參加上海戰役中，大部戰死，餘部由該師師長龍嘯聲率領撤退至台灣。