北伐時期

由馮系軍隊發展演變而成。1926年9月，馮玉祥在五原誓師響應北伐時，廣州國民政府將所部由國民軍改編為國民聯軍，任馮玉祥為總司令。1927年5月，武漢國民政府為適應北伐戰爭需要，又將所部改編為國民革命軍第二集團軍，任馮玉祥為總司令。5月1日，馮玉祥在西安宣誓就任，同時任命石敬亭為總參謀長，何其鞏為秘書長，劉伯堅為政治部長。同年6月，馮玉祥附蔣後，南京國民政府任馮為西北國民軍總司令。1928年2月16日，蔣馮在開封會商，同意將西北國民軍改編為國民革命軍第二集團軍。

1927年8月，馮玉祥所屬國民軍一部在北伐戰爭中編成第十八軍，隸屬於第二集團軍第9方面軍，軍長由第9方面軍總指揮鹿鍾麟兼任，下轄第六八師、第六九師和第八十九師。1929年初，第十八軍番號撤消，所屬部隊被縮編為     第二九師。

1928年，鎮嵩軍萬選才旅在北伐戰爭中，被擴編組成為國民革命聯軍第28軍，萬選才任軍長，下轄：第72、第73師和補充旅，隸屬馮玉祥第二集團軍。1929年5月，第28軍叛馮投蔣，所部改編為國民革命軍第十二軍，下轄：第72、第73師和補充旅編制不變。同年12月25日，閻錫山下令萬選才正式任第12軍軍長，所屬第72、第73和補充旅縮編為第65師。1930年3月，萬選才在河南舉兵反蔣，被撤去軍長職務，第十二軍番號撤消，所屬部隊被編散。

1930年2月，閻錫山致電蔣介石，要求共同下野，由汪精衛領導改組擴大會議，以示公平，蔣拒絶。閻、蔣雙方電報往復，持續將近一月，時稱「電報戰」。3月，南京國民政府召開中國國民黨第三屆中央全體會議，開除汪精衛黨籍。閻錫山通電要蔣下野，各地反蔣軍閥起而響應。3月15日，原第二集團軍、第三集團軍及第四集團軍57名將領，派代表赴太原商討反蔣，列出蔣介石六宗罪行，推閻為「中華民國陸海空軍總司令」，李宗仁、馮玉祥及張學良為副總司令。4月，蔣回南京赴津浦鐵路巡視；赴平漢鐵路檢閱。4月1日，閻錫山、馮玉祥及李宗仁分別在太原、潼關、桂平宣布就職，石友三再度倒戈加入反中央軍，惟張學良未表態。4月5日，南京國民政府下令通緝閻錫山。

--+-+<

1937年8月上旬由原西北軍一部組成的第二十六路軍為主編組而成，集團軍總司令劉峙、副總司令孫連仲，第二十七師、第三十師、第三十一師是該集團軍的基本部隊，屬第一戰區指揮管轄，第五十二軍、第三十二軍、第三軍都曾加入過該集團軍的戰鬥序列。該集團軍是七七事變後最早進軍華北增援第二十九軍的中國軍隊，曾在琉璃河、良鄉等地區抗擊日軍。後奉令調歸第二戰區指揮，參加扼守冀晉要隘娘子關的戰役。

抗日時期

組建: 1937年9月

劉峙

1937年9月 – 1938年2月 京漢線戰役

太原會戰

1938年初，該集團軍調歸第五戰區指揮管轄，孫連仲繼任集團軍總司令，其基本部隊編組為第三十軍和第四十二軍，該集團軍在台兒莊戰役中是擔任堅守任務的主力作戰部隊，為台兒莊戰役的勝利作出了巨大貢獻。後韓復榘舊部曹福林的第五十五軍、宋哲元舊部劉汝明的國民革命軍第六十八軍也加入該集團軍的戰鬥序列。

連仲1938年2月 – 1943年8月 臺兒莊會戰

隨棗會戰

1938年11月3日，該集團軍第四十二軍軍長馮安邦在大別山戰役結束後轉進襄樊途中遭敵機轟炸而犧牲。

1939年初，該集團軍調歸第一戰區指揮。

1939年冬季攻勢

1940年又劃回第五戰區，長期駐守豫西南鄂北地區，曾參加過第二、第三次長沙會戰的策應作戰。

棗宜會戰

豫南會戰

鄂西會戰

劉汝明1943年8月 – 1945年10月 常德會戰

1943年孫連仲調任第六戰區司令長官，其基本部隊隨其調至第六戰區，第二集團軍總司令由劉汝明代理，下轄第六十八軍、第五十五軍及石友三舊部米文和的第六十九軍，參加過常德會戰及豫西鄂北會戰。

1945年10月改稱第四綏靖區