1931年初，國民政府軍事委員會又以第三路軍第六軍第二十師與第十四軍第81師合編組成新的中原大戰，駐守山東兗州和濰縣地區，仍隸屬第3路軍編成，以孫桐萱任軍長，下轄：第二十師，孫桐萱兼任師長；第81師，展書堂任師長。

1937年8月，抗日戰爭爆發後，第十二軍參加了津浦路北段沿線之作戰。1938年6月，孫桐萱升任第3集團軍總司令後仍兼第十二軍軍長，劉書香任副軍長，隸屬第3集團軍。轄第二十師，週遵時任師長；第81師，展書堂任師長。同時，將撤消的第56軍第22師轉隸第十二軍。1938年至1941年間，第十二軍先後參加了徐州會戰、武漢會戰、1939年冬季攻勢作戰和1941年的豫南會戰等作戰。

1942年12月集團軍總司令兼軍長孫桐萱因反對蔣介石的內戰政策，被蔣以述職為由騙到重慶，隨後監禁，免去集團軍總司令和軍長職務，隨後，由賀粹之升任軍長，唐邦植、週遵時任副軍長。轄第二十師，週遵時任兼任師長；第二二師，張側民任師長；第81師，賀粹之兼任師長。1943年初夏，第十二軍第二十師轉隸蔣系暫編第9軍，另將原第31集團軍直轄暫編第55師（李守正任師長）轉隸第十二軍。1944年秋，該軍番號被裁減，其第二二師、第81轉隸第55軍，暫編第55師轉隸第85軍。