虞世南歷經南朝陳、隋、唐三朝，由於他博學強記的特質，因此擔任的職務多與秘書有關。因此，虞世南自隋朝入仕擔任秘書郎一職起，由於可以在祕書省內充分的查閱皇家收藏的圖書，虞世南就在祕書省北側的後堂（故稱「北堂」）充分利用這些皇家藏書，將這些古書讀了個遍，然後依照帝王、后妃、政術、刑法、封爵、設官、禮儀、藝文、樂、武功、衣冠、儀飾、服飾、舟、車、酒食、天、歲時、地等十九個分類，摘錄這些古籍中相關的內容，以供撰文需要參考之用，而完成這一系列包含了這十九部、八百五十一目、計一百七十三卷的《北堂書鈔》。

到了今日（指《隋唐嘉話》作者劉餗編寫此書的時候，大約在唐玄宗李隆基、天寶年間），這祕書省的北堂依舊存在，而虞世南的《北堂書鈔》也已經成為當代廣為流傳的一部鉅著，與初唐的歐陽詢等編纂的《藝文類聚》、中唐的白居易編輯與宋朝孔傳（孔子第六十四世孫）續編的《白氏六帖》、（唐高宗～唐玄宗時期）徐堅主編的《初學記》，為後人合稱唐代的「四大類書」（「類書」：輯錄各門類或專一門類的書籍）。

虞世南另有參與輯錄有關治國興衰政蹟之文的《群書治要》五十卷，為後世考察前人如西漢末年的桓譚等名儒的政論內容，讓後人得以有所依據而得知其梗概。而其個人的文章詩作有《兔園集》十卷及由褚亮作序的詩文集三十卷，也曾流行於世，但之後都因故散失而不全，而賴歷代各文史工作者輯錄於《全唐詩》（詩一卷）、《全唐文》（詩文及奏疏）及《四明叢書》中的《虞祕監集》（四卷）中。

改編自 《隋唐嘉話》

原文：

《隋唐嘉話》卷中：

虞公之為秘書，於省後堂集群書中事可為文用者，號為《北堂書鈔》。

今此堂猶存，而《書鈔》盛行於代。