1948年初，師長劉雨卿調任重慶警備司令部司令，王克俊從瀋陽警備司令部副司令職調任師長。同年9月，整編第21師恢復第21軍番號，第二一軍隸屬第一綏靖區。王克俊任軍長。原轄整編第145、整編第146旅，依次恢復為第一四五師、第一四六師番號。同時，將新組建第230師（師長駱週能）撥歸第二一軍建制。此次整編後，第二一軍調至長江沿岸擔任將江防任務。

1949年4月下旬，人民解放軍發起 渡江戰役後，第二一軍在阻擊人民解放軍的渡江作戰中被殲滅一部後逃至上海，在淞滬警備區的編成內，參加了上海郊區的防禦作戰。同年5月27日，第二一軍一部在淞滬警備區副司令官劉昌義率領下向人民解放軍繳械投誠。