這樣一座大型古堡的起源，要從清康熙收復台灣的歷史說起。當年，書生黃性震胸懷報國之心，負劍走出湖西盆地，投奔福建總督姚啟聖帳下，獻上平台十策。詒安堡所以被稱為「活化石」，是因為堡內至今還居住著數百戶黃氏後裔，當年建造的95排、一排10間的民房，基本保存完好。

詒安城堡裡面建築形式，延續了明清兩代；城牆周長1200公尺，內建95座房屋，分布東西兩邊，中軸線建有一座大宗祠堂，左右還有東官廳和西官廳，用於接待客人。北門到東門共有三進，設立一座占地3000平方公尺左右的學堂，作為黃氏子孫後裔受教育的地方。

詒安堡的城牆上，全是用條石築成的馬道，馬道外側建2公尺高的女牆，全城均開365垛口，城內側每隔50公尺設登城石階。城轉角處設深、寬各3公尺的敵樓，用於瞭望和射擊。全城設3個城樓，除北邊不建城門外，東、南、西三門的城樓，仿船形，寄寓城主黃性震平台事跡。南門至西門前開鑿護城河，河寬10公尺。每排民房間有8公尺寬的石砌街道，用以縱橫溝通，全城建築因此排列有序。從城牆上俯視詒安堡，頗似古代的營盤。

在詒安堡高牆鐵壁的護衛下，黃氏一脈得以生生不息，人才輩出，讓這一珍貴的歷史建築流傳至今。