在國民革命軍的編制序列中，歷史上曾先後出現過2個第34軍。分別為中央軍和晉軍。

1928年3月，第一軍改稱為第三十四軍。年秋，第三十四軍縮編為第四十四師。

中央軍

國民第5軍第1師組成的第34軍

該軍前身是方振武國民第5軍第1師。1927年夏，國民革命軍北伐後，隊伍迅速擴大，將方振武部國民第5軍編為第3方面軍第1軍，方振武任軍長，下轄：第1師，阮玄武任師長，另轄有收編的直軍袁寶德師和黃子正旅。該軍組成後，奉命北上參加北伐時，袁寶德離隊叛逃，改徐岱東為師長。1928年3月，南京政府改方振武部國民第5軍為第4軍團，並將方振武國民軍第5軍第1師擴編為國民革命軍第34軍。阮玄武任軍長，下轄：第88師，王日新任師長；第89師，王相臣任師長；第90師，徐衍昆任師長。該軍編成後，參加了對奉軍的北伐。同年秋，該軍改編為第44師，阮玄武任師長，原下轄的第88、第89、第90師，依次改編為第130、第131、第132旅。

晉軍

晉軍一部組成的第34軍

該軍前身是晉軍閻錫山所屬一部。1930年11月，中原大戰結束後，晉軍閻錫山被蔣介石打敗後，晉系軍隊按國民黨軍統一番號改編，其一部改編為第34軍，楊愛源任軍長，傅存懷任副軍長，隸屬太原綏靖公署。下轄：第66師，楊效歐任師長；第70師，王靖國任師長；第71師，楊耀芳任師長。該軍編成後，主要駐防在太原、汾陽等地擔任守備任務。1936年2月，該軍奉命參加了阻止紅一方面軍東征的山西戰役的作戰。同年7月，軍長楊愛源改任晉綏“剿匪”總指揮部總指揮，由楊效歐繼任軍長。

1937年5月31日，軍長楊效歐病死，第6集團軍總司令楊愛源兼任軍長。同年7月19日，楊愛源免去兼職，楊澄源繼任軍長，傅存懷任副軍長。下轄：第66師，杜春忻任師長；第70師，王靖國任師長；第71師，郭宗汾任師長。此時，該軍隸屬第6集團軍。9月，參加了太原會戰。戰後，閻錫山為控制軍隊，對部隊編制進行調整，將第66師調歸戰區直轄。原屬第三四軍第七十師調第十九軍。此時，該軍僅轄第71師。1939年，該軍進行編制調整，第71師撥歸國民革命軍第33軍建制，同時，另調第201、第205旅和新建獨立第21旅歸該軍直轄。同年2月，軍長楊澄源升任國民革命軍第八集團軍副總司令，由彭毓斌繼任軍長。下轄：第201旅，張翼任旅長；第205旅，張敬俊任旅長；獨立第21旅，續儒林任旅長。1940年，將獨立第21旅改稱第218旅。1941年1月，軍長彭毓斌調走後，由王乾元繼任軍長，滑廷壁任副軍長，同時，將原轄第201旅擴編成暫編第43師，劉謙任師長；第205旅擴編成暫編第44師，趙恭任師長；第218旅擴編成暫編第45師，王鳳山任師長。此次整編後，該軍隸屬國民革命軍第七集團軍。1942年8月，軍長王乾元他調。由張翼升任軍長，滑廷壁任副軍長。1943年，晉系軍隊進行整編，閻錫山將該軍暫編第43師改隸國民革命軍第43軍，另將第二三軍原轄第七三師改隸第三四軍。同年12月，軍長張翼調任戰區長官司令部高級參謀，高卓之繼任軍長，趙恭任副軍長。此時，第34軍下轄：第73師，席安仁任師長；暫編第44師，王楫任師長；暫編第45師，馬儒魁任師長。

抗日戰爭勝利後，該軍在1946年至1948年6月，在與人民解放軍的作戰中，先後參加了呂梁戰役、汾孝戰役和晉中戰役等。其中在晉中戰役中，該軍軍部及所轄第73師被人民解放軍全殲，中將副軍長張翼、少將高級參謀席安仁等被俘，暫編第44師師長楊棲鳳被解放軍擊斃。晉中戰役後該軍重建軍部和第73師。同年9月，國民黨軍統一番號，將暫編第44師改番號為第278師；暫編第45師該番號為第279師。此時，該軍下轄：第73師，席安仁任師長；第278師，李子法任師長；第279師，鄭繼周任師長。10月，該軍參加太原戰役，在小店戰鬥中，暫編第44師，暫編第45師，被人民解放軍全殲，師長李子法、鄭繼周被俘。1949年4月，該軍軍部及第73師在太原戰役第3階段作戰中被人民解放軍全殲，軍長高卓之、政治部主任彭登旺等被俘。