該軍前身是湘系軍隊賀耀祖一部。1926年8月28日，賀耀祖率湘軍第1師與湘軍總司令趙恆惕決裂，加入國民革命軍後被編為獨立第9軍軍長後，仍兼任獨立第2師師長。同年10月，該師奉命北伐，在江西境內先後參加了進攻南昌、九江等戰役的作戰。1927年3月26日，國民政府將獨立第2師擴編為國民革命軍第四十軍40-1，賀耀祖任軍長。下轄：第1師，谷正倫任師長；第2師，楊永清任師長；第3師，毛秉文任師長。同年6月，該軍隸屬北伐右軍，編入第3縱隊，賀耀祖任指揮，率獨立第2師向滬、寧進攻，後北伐進軍至徐州。7月，該軍奉命撤回長江以南，隸屬第1路軍。9月，該軍在長沙以南，奉命參加了追擊孫傳芳殘部的戰鬥。

1928年2月16日，該軍進行整編，重新任命賀耀祖為軍長，毛秉文為副軍長，謝履任參謀長。原所轄第1、第2、第3師依次改編為第82、第83和第84師，並另組建教導師，龔憲任師長。同年7月後，國民黨軍進行編遣，該軍縮編為第8師，朱紹良任師長。1929年3月2日，南京國民政府以國民革命軍第四十軍第八師（賀耀祖系統下的國民革命軍第四十軍縮編改組）、第十三師（夏斗寅系統下的國民革命軍第二十七軍縮編改組）、直魯軍系的陳耀漢獨立第一旅合組為第二軍，軍長朱紹良。）。這支第二軍在經歷蔣桂戰爭後，10月編制便告撤銷。