從音樂的角度來看呂泉生，他在台灣音樂史上最重要的貢獻：一是他終身從事合唱教育，如果沒有呂泉生，台灣的合唱環境到一九六○年，都將還是一片荒漠；另一是他採集、改編台灣民謠的貢獻，不但為台灣保留珍貴的文化資產，同時是將台灣民謠藝術化的第一人。

一、合唱音樂之父 

呂泉生在台灣音樂史上最顯著的成就，首推合唱教育。呂泉生因在東京NHK放送合唱團期間，接受過嚴格的合唱訓練，並累積相當多的實務經驗，因此回台之後，多次被廣播電台、交響樂團、公、私立合唱團等文化單位延攬，主持合唱業務。在早年音樂教育仍不普及的時代，尤其在學院派音樂系尚未成立前，合唱是一般人民接觸音樂、學習音樂的一條便給途徑。由於參加合唱團，不需耗費金錢在價格昂貴的樂器上，也不必負擔音樂老師高額的私人鐘點費，因此吸引不少家境不夠寬裕、卻喜歡音樂的朋友加人，對推動社會音樂風氣有很大功用。總計呂泉生從一九四三年組織首支台灣人合唱團——厚生合唱團開始，到一九九一年從榮星合唱團退休，接受過他指導合唱的人口不下兩千人之譜，對社會愛樂風氣的推動，有難以估計的成效。

二、將台灣歌曲藝術化的功績 

呂泉生在台灣音樂史上的另一項重要成就，是他採集、改編台灣民謠，並將台灣民謠「藝術化」。呂泉生採集台灣民謠的動機，主要是在日本東寶聲樂隊期間，受到台灣民謠採集事件的刺激，誘發他回台之後採集台灣民謠。一九四一年，東寶演藝會社派遣部員渡邊武雄、北村滋章兩人到台灣採集民謠，此時正值台灣「禁鼓樂」時期，這兩人到了台灣，因聽不到民謠、採不到民謠，因此回東京之後報告說：「台灣沒有民謠。」這件事讓呂泉生相當不服氣，他認為不是台灣沒有民謠，而是這兩人對台灣文化不熟悉，不知道台灣民謠蘊藏何處，所以才採集不到民謠。因此回台之後，他一有機會就問人會不會唱台灣民謠？進而採集民謠。 

呂泉生以台灣民謠作曲，對當時人的觀念是一大挑戰，原本很多人都以為，民謠是不登大雅之堂的歌曲，更何況將這種音樂改編成在正式場合演出的節目。但呂泉生卻不作此想，他認為，民謠是台灣最根本的音樂，是最能代表台灣文化的東西，因此採集下來，以他擅長的西樂手法加以改編，使熟悉的旋律增添新穎的和聲效果，大大提昇民謠歌曲的藝術價值。 呂泉生將台灣民謠從俚俗歌謠的地位，提昇至藝術化歌曲的層次，這樣的作法在台灣音樂史上可謂第一人。也正因他的努力，使當初這些經由他採集而保存下來的民謠，成為今天人人琅琅上口的歌曲，對台灣文化資產的保存來說，意義重大。雖然他陸績又創作了很多中文歌曲，但普遍說來，傳唱程度、及對社會的影響力，均不如他早期採集、改編的台灣民謠，亦可印證台灣民謠藝術化在他音樂生涯中的地位。