抗日戰爭爆發時，湯恩伯率其基本部隊第十三軍赴北平南口布防，在南口保衛戰中頑強抵抗日軍，堅守南口20余天，其第八十九師羅芳的第五二九團在戰鬥中幾乎全部陣亡，其第四師第十二旅副旅長張本禹亦陣亡殉國。後第十三軍的部隊自北平、河北至山東，1938年1月18日擴編為第二十軍團，湯恩伯任軍團長，下轄第十三軍、第九十八軍和第八十五軍。隸屬第五戰區，曾參加台兒莊會戰。1938年6月8日又擴編為第三十一集團軍，調歸第九戰區指揮管轄，並參加武漢會戰。

組建: 1938年6月

湯恩伯1938年6月 – 1943年9月 武漢會戰

南昌會戰   第一次長沙戰役   1939年冬季攻勢   豫南會戰   第二次長沙戰役

1938年6月8日奉令組建，首任集團軍總司令為湯恩伯，下轄張軫的第十三軍、張剛的第九十八軍、關麟徵的第五十二軍及李仙洲的第九十二軍，其中第十三軍為該集團軍的基本部隊。

由於第三十一集團軍系國民黨中央嫡係部隊，曾作為機動部隊，輾轉於第五、第九戰區作戰，參加過隨棗會戰、第二次長沙會戰等戰役，被日軍內部文件稱為“精銳的中核兵團”。1940年初，該集團軍調歸軍事委員會直接指揮管轄，下轄張雪中的第十三軍、陳大慶的第二十九軍和李楚瀛的第八十五軍。1941年後，第三十一集團軍調至河南，屬第一戰區指揮管轄，湯恩伯升任第一戰區副司令長官，集團軍下轄部隊未變。後王仲廉任第三十一集團軍總司令，下轄賀粹之的第十二軍、石覺的第十三軍和馬勵武的第二十九軍。

王仲廉1943年9月 – 1946年12月 豫湘桂會戰   豫西鄂北會戰

1943年初夏，第十二軍第二十師轉隸蔣系暫編第9軍，另將原第三十一集團軍直轄暫編第55師（李守正任師長）轉隸第十二軍。1944年秋，第十二軍番號被裁減，其第二二師、第八十一師轉隸第55軍，暫編第55師轉隸第85軍。

1944年夏的中原會戰中，該集團軍部隊在與日軍作戰中損失慘重，湯恩伯被撤去第一戰區副司令長官職務，調往貴州任黔桂湘邊區總司令，第十三軍及第二十九軍隨其前往貴州前線。自1945年起，第三十一集團軍王仲廉在第一戰區指揮下只管轄吳紹週的第八十五軍和賴汝雄的第七十八軍。

改稱整編第26軍: 1946年12月