舊天鵝堡就在新天鵝堡對面的山上，是一座黃色的城堡，正式的名稱叫做「高地天鵝堡」（Hohenschwangau），它的建造者是馬克斯米里亞二世 (Maximilian II)即新天鵝堡的主人路德維希二世之父。這城堡於中世紀即存在，之後曾遭毀壞，後來馬克斯米里亞二世花了六年時間重建成高地天鵝堡。新天鵝堡的主人路德維希二世其童年都在此度過。

與潔白的新天鵝堡相較，黃色的舊天鵝堡看起來較為古老陳舊，加上又在整修，即使同樣被湖光山色環繞，相形之下還是失色不少，旅行社也沒安排參觀行程，只能遠拍聊表記錄。