高瑞錚說，小時候兄弟擠在一間小房間內讀書，當時竹山缺乏圖書館，因此在事業有成後，他提議在父母的土地上興建圖書館，立即獲得兄弟們無異議贊同。

圖書館營運，比興建難度更高。高瑞錚擔心，若把圖書館捐出來，會成為「蚊子館」，堅持圖書館自己經營。竹山鎮民5萬人，欣榮發出借閱證2萬5000張，去年借閱量30萬餘冊，傲視公立圖書館，獲南投縣文化局評選為第一名的圖書館。

欣榮圖書館同時也是一個公益平台，南投、彰化和雲林縣家境困難的學生，只要導師告知，圖書館即提供協助，每年受惠的學生達400多人，六年來，支出的善款逾700萬元。南投縣長李朝卿說，「有欣榮圖書館是竹山之福。」

高瑞錚很重視幼兒品格養成，圖書館內有1萬多冊童書。中興新村光榮國小老師丁怡君等人，定期開車到欣榮借童書回來供學生借閱。館內有童書區、親子教室、兒童遊樂區；每周六還有老師、劇團為兒童說故事。

欣榮圖書館目前有200多名志工，其中十幾位是退休校長。頂著美麗島律師光環，一直有人邀高瑞錚參選從政，高瑞錚的舅舅廖春熹說，高瑞錚很堅持「選舉不是他（高瑞錚）的人生價值。」