國民革命軍第21軍前身是川軍第2軍。

國民革命軍第二一軍前身是川軍第2軍。1926年12月7日，川軍第2軍響應國民革命軍北伐，被國民政府改編為國民革命軍第二一軍，劉湘任軍長。下轄8個師。第1師，唐式遵任師長；第2師，李雅材任師長；第3師，王陵基任師長；第4師，王瓚緒任師長；第5師，向成傑任師長；第6師，潘文華任師長；第8師，朱宗愨任師長。另外，軍直屬1個旅和兩個游擊司令部。

1927年初，第二三軍與第二一軍劉湘部聯合發起倒劉（劉文輝）之戰時進行整編，將所屬部隊統一改編為第1、第2、第3、第4師。同年6月上旬，劉文輝所屬第二四軍兵分三路向第二三軍防區發起攻擊作戰；一路由雙流向新津進攻；一路由重慶、大邑向邛崍進攻；一路由眉山、丹棱向名山、雅安進攻。當第二四軍發動進攻後，第二三軍軍長劉成勳指揮部隊陸續退出彭山、雙流、丹棱、大邑，向新津、邛崍集中，一部在石橋場後方擦耳岩一帶向蒲江退卻，被第二四軍擊潰。與此同時，在劉文輝的策反下，第二三軍第3師副師長楊芳毓、第2師副師長羊仁安、邊防部隊司令孫涵也公開通電，宣布與第二三軍脫離關係，投靠劉文輝。在此情況下，第二三軍已經名存實亡。6月29日，劉成勳被迫通電下野。至此，劉文輝將第二三軍及其防區全部兼併。

1928年8月，根據國民政府編遣會議的要求，第二一軍原有7個師、1個旅、兩個游擊司令部縮編為第1、第2、第3師。其中：第1師，唐式遵任師長，藍文彬任副師長；第2師，王瓚緒任師長，潘文華任副師長；第3師，劉湘兼任師長，王陵基任副師長。不久，劉湘免兼第3師師長，王陵基繼任第3師師長。1929年3月， 蔣桂戰爭爆發後，第二一軍被編入第七路軍，劉湘任總指揮，參加討伐武漢桂系軍隊的作戰。

1930年2月，劉湘被南京政府任命為四川善後督辦，奉令對四川各軍全權編譴。10月，劉湘、劉文輝爭奪對四川的統治的混戰全面展開，經過兩個多月的混戰，12月劉湘打敗劉文輝，奪得川北、上川東、下川南等地區的30多個縣，第二一軍先後收編第二四軍劉文輝部的3個旅和第二十軍陳蘭亭20-3、第二一軍廖澤(1930年任第21軍模範師第3旅旅長)兩個師。1931年初，第二一軍以支援第二十軍為名，進占了廣安、渠縣。3月，第二一軍第3師進占合川，驅走了第二八軍鄧錫侯部的陳書農師。此時，第二一軍實力進一步擴大，下轄6個師和川東3個邊防路軍。其中：第1師，唐式遵任師長；第2師，王瓚緒任師長；第3師，王陵基任師長；第4師，范紹曾任師長；教導師，潘文華任師長；模範師，劉湘兼任師長；川東邊防第1路，陳蘭亭任司令；川東邊防第2路，穆瀛洲任司令；川東邊防第3路，魏楷任司令。此後，第二一軍又參加了與劉文輝、田頌堯等軍閥在四川的混戰。在上述這些軍閥混戰中，第二一軍實力最強時，所屬部隊發展到9個師，5個獨立旅、4路邊防司令部、3路警備司令部、1個城防警備司令部、1個獨立支隊。

1933年10月至1935年4月，第二一軍先後參加了對紅四方面軍“6路圍剿”和對中央紅軍長征的圍追堵截作戰。年底，第二三軍番號被撤消，所部被劉湘的第二一軍吞併，改編為第21軍第一五0師。

1935年5月，國民政府對川軍進行整編時，由於第二一軍兵力過多和編制過大，所屬部隊被統一分編為第二一軍、第二三軍(第5師、教導師和邊防第2路等部)、第四十四軍3個軍。10月，劉湘升任川康綏靖主任兼四川省政府主席後，唐式遵任第二一軍軍長，范紹曾任副軍長，劉熙鑑為參謀長。此時，第二一軍下轄：第1師，饒國華任師長；暫編第2師，師長彭誠孚；第4師，師長范紹曾（兼）。1936年2月25日至27日，國民政府為使川軍“中央化”、“國家化”，以授軍銜的方式，將川軍將領納入全國陸軍系統。其中第二一軍軍長唐式遵、副軍長范紹曾被授予陸軍中將軍銜；所屬各師、旅長饒國華、彭誠孚、劉兆藜、周紹軒、孟浩然等被授予陸軍少將軍銜。1937年7月，抗日戰爭全面爆發後，國民黨軍隊進行整編時，第二一軍隸屬第十九集團軍指揮，原所屬部隊統一整編為：第一四五師，師長饒國華，參謀長曾南飛；第一四六師，師長范紹曾兼任（後劉兆藜），參謀長張六師；獨立第13旅，田冠五任旅長；獨立第14旅，周紹軒任旅長。另將原劉湘集團所屬第1、第4師和暫編第2師各一部合編成為第一六二師（彭誠孚任師長）改隸第二一軍。同年9月，第二一軍整編完畢後，軍長唐式遵奉命率第一四五師、第一四六師和獨立第13旅、獨立第14旅出川抗戰，第一六二師留住成都。10月，第二一軍進至上海參加了淞滬會戰。11月中下旬，第二一軍在皖南廣德、泗安一帶，保衛首都外圍，掩護國民政府撤離南京的作戰中，第一四五師師長饒國華在廣德失守後，自戕殉國。

1938年3月第二一軍原轄第一四五師改隸第五十軍。6月，第二一軍在參加武漢會戰中，擔負固守長江南岸，阻斷日軍長江航運，策應保衛大武漢的作戰任務。

1939年初，國民黨軍隊進行局部編制調整時，第二一軍隸屬於第二十三集團軍，軍長唐式遵升任第3戰區副司令長官兼第23集團軍總司令，陳萬仞繼任第二一軍軍長，劉熙鑑任副軍長。同時，將原第二三軍原轄？　第147師 ?，第一四八師隸第二一軍。此次整編後，第二一軍先後參加了當年的 冬季攻勢作戰和第二次長沙會戰。

1942年，國民黨軍隊進行部分整編，第五十軍第一四五師與第二一軍第一四八師對調了隸屬關係。1月，陳萬仞升任第23集團軍副司令後，該集團軍副司令劉雨卿兼任第二一軍軍長，周紹軒任副軍長。下轄部隊編制調整為第一四五師、第一四六師、第147師。同年5月，第二一軍參加了 浙贛會戰後駐守江西貴溪整訓。

1945年，第二一軍奉命進行整編時，第147師被裁減，另將第五十軍新編第7師撥歸第二一軍建制。此時，第二一軍下轄：第一四五師，師長凌諫銜；第一四六師，師長戴傳薪；新編第7師，師長黃伯光。

1946年5月，國民黨軍隊進行整編時，第二一軍改編為整編第21師，原軍長劉雨卿改任師長。原第一四五師改編為整編第145旅，旅長凌諫銜，參謀長林雪谷；原新編第7師改編為新編第7旅，旅長黃伯光，副旅長田從雲、黃恆仁，參謀長戴杰夫。7月，該整編師新編第7旅在參加蘇中戰役中，旅部及所轄兩個團被人民解放軍殲滅，該旅番號被取消，殘部編入他部。

1947年3月，台灣民眾舉行“二二八”起義後，整編第21師(第二一軍)由江蘇南通緊急調往台灣，改隸台灣警備總司令部，參加了鎮壓台灣人民起義的軍事行動。同年秋，整編第21師(第二一軍)又奉命返回華東戰場。

1948年初，師長劉雨卿調任重慶警備司令部司令，王克俊從瀋陽警備司令部副司令職調任師長。同年9月，整編第21師恢復第21軍番號，第二一軍隸屬第一綏靖區。王克俊任軍長。原轄整編第145、整編第146旅，依次恢復為第一四五師、第一四六師番號。同時，將新組建第二三0師（師長駱週能）撥歸第二一軍建制。此次整編後，第二一軍調至長江沿岸擔任將江防任務。

1949年4月下旬，人民解放軍發起 渡江戰役後，第二一軍在阻擊人民解放軍的渡江作戰中被殲滅一部後逃至上海，在淞滬警備區的編成內，參加了上海郊區的防禦作戰。同年5月27日，第二一軍一部在淞滬警備區副司令官劉昌義率領下向人民解放軍繳械投誠。

1949年10月1日，國民黨軍為加強西南地區的軍事力量，以又華東撤退到四川的該軍殘部為基礎重新編成第二一軍，隸屬於西南軍政長官公署。王克俊任軍長，下轄第一四五師、第一四六師，擔任宜賓、成都地區的守備任務。11月5日，西南軍政長官公署將第二三五師撥屬第二一軍。12月下旬，第二一軍在宜賓、成都地區被人民解放軍殲滅。