西元280年，西晉大將王濬率八萬水師攻克建業，東吳亡。

西晉末年，匈奴、鮮卑、羯、氐、羌 等五個遊牧民族大舉入侵中原，摧毀長安、洛陽，史稱「五胡亂中華」。西元317年，司馬懿曾孫琅琊王司馬睿在南京繼位，稱晉元帝，定名南京為  「建康」。晉元帝在建康繼位後，中原的世家大族紛紛南遷，史稱「衣冠南渡」。

西元383年，氐族貴族苻堅橫掃北方後，率八十萬大軍南下，號稱百萬，欲一舉滅亡華夏。晉孝武帝司馬曜在謝安輔佐下，派其弟謝石、其子謝玄率八萬人渡江北上迎戰。大軍渡江后，謝玄命所有船隻全部返回南岸，并令全軍著白衣披麻，謝玄慨然道：“我輩此戰若敗，則中華亡國滅種，家國俱無，又何必南返！”。11月，雙方在淝水展開決戰（今安徽壽縣、肥西之間），晉軍大勝，後趁勝追擊直逼黃河，胡騎逃回洛陽時，已不足十萬人。

當前線捷報傳回南京，眾大臣匆忙詢問謝安戰況如何，謝安從容說出五個字：“小兒輩，破賊”。西元385年，晉名將劉牢之北渡黃河，攻入河北，這是衣冠南渡後，漢民族最成功的一次北伐。

淝水之戰為後世留下了風聲鶴唳、草木皆兵、投鞭斷流等著名成語，是漢民族歷史上最為生死攸關之一戰，此戰若失敗，今日中華民族所說之語言及華夏傳統文化都將不復存在。

東晉最傑出的文人有：王羲之、王獻之、陶淵明、顧愷之、謝靈運等，而梁山伯與祝英台這中國歷史上最淒美的愛情故事亦發生在東晉。而當時的南京則被歐洲史學界稱為「東方拜占庭」。