解放戰爭初期國民黨軍為集中兵力進攻華東解放區建立的三個大規模的野戰兵團之一，司令官為王敬玖。1947年1月，巨金魚戰役中隸屬第二兵團的暫編第4縱隊等部被殲滅，第二兵團因此被撤消。 　　

1948年8月國民黨全國軍事檢討會議決定以整編第5軍為基礎，建立第二兵團，轄5軍、12軍、70軍、74軍、100軍、新編第21旅、獨立騎兵旅共12萬人，司令官為杜聿明（1948年10月杜聿明調東北指揮作戰，邱清泉接替司令官）。第九戰區

淮海戰役中指揮第5、12、70、72、74、116軍、兵團獨立旅、獨立騎兵旅。

1949年1月在永城陳官莊地區被殲滅。