這地方又被稱為吳園，是地方士紳吳麟(官名：尚新)所建。當時他收購自己宅第北邊的土地，擴大改建，佔地之大。

吳園的由來，除了吳家本姓之外，在傳統古典文學中，吳園一詞相當常見，因此取這名號，也能想見吳尚新造園時的情趣。

日人統治台灣後，吳家家道中落，產權落入日本政府，因此在這建有公會堂、柳屋、與四春園旅館。

四春園旅館因有吳園作為腹地，園裡景色優美，當時是台灣知名的旅館之一，光復後則由國民黨台南市黨部接收。

當時四春園旅館的大門，大概是公園路上屈臣氏的位置。據附近老一輩表示，以前這附近熱鬧得很，路邊人力車可是大排長龍，出入都是有身份地位的人士。

目前在吳園旁邊巷弄裡經營寮國咖啡的張老闆，回憶起小時候好奇，曾從民族路遠百附近，偷翻牆進到四春園看見的情景：雖然房子破舊，但景致仍是漂亮，走著走著居然走到民權路上，內心非常驚異園內佔地之大。

公會堂內目前展有這棟建築物的設計解說以及吳園的由來與變遷，似乎至2007年到現在都沒什麼變過，裡頭簡介與DM已經被索取完，從去年問到現在，都沒有再印的下文，因此只好用眼睛記錄。

在公會堂另外一邊，則掛有柳屋的牌子，走進去後則會看到一棟日式建築，這原先是日治時期的食堂。

柳屋料理是目前台南市少數有保留下來的日式食堂外貌，在民生綠園旁的中央氣象局台南氣象站(原 台南測候所)後面則是已經被拆得只剩外觀的鶯(櫻)料理。

柳屋作為日人的廚房，後有一說是日本藝旦居住處，目前則是作為購買台南伴手禮的地方。

繼續往下走，映入眼前有一片綠地與一排閩式建築，在這後頭卻是遠東百貨公司的高樓，對比明顯，建築風格迥異。

這排低矮的平房是目前吳園僅存的水榭樓閣了，舊時為吳園家眷居住處。目前眼前所見的範圍只是以前吳園的十分之一，據說民族路二段173巷、民權路二段64巷、民族路遠東百貨公司這個範疇內都是。

若照此推算，在吳園後頭的大遠百等等都曾是吳家的產地，可見當時吳家財力、勢力之大。也因此有「有樓仔內的富，也無樓仔內的厝；有樓仔內的厝，也無樓仔內的富。」俚語出現。

原先吳園內造景奇異、房間眾多，俗稱「樓仔內」，是富貴人家的代表(大概就像《紅樓夢》裡頭的大觀園吧！) 

板橋林家花園、新竹北郭園、霧峰萊園、台南吳園曾經是台灣的四大名園，亦是文人吟詩作對的場所，目前保留完整應屬林家花園與萊園，吳園則剩餘一角，而北郭園已經消失。