鄭武瞻寫了幾個字，有著、助、署字，然後說：“我考慮為了避免同你的同宗重名，所以寫了好幾個字，請你自己選擇。”當晚豆盧署睡在客房，夢見一個老頭對他說：“聽說郡守為你改名，你再考四次才能中榜。四字最好。再過二十年，你是這裡的郡守。”老頭又指著一塊空地說：“此地可以建一座亭台。”醒了以後，豆盧署想，“四者”就是署字呀！於是將自己的名字改為署字。

考了兩年，豆盧署仍未中榜，以為所做夢不准，知道此事的人也嘲諷他。接著又考兩年，終於中榜成名，算起來正是改名後的第四次考試。

大和九年，豆盧署從秘書少監調任衢州刺史。他上任後巡視郡府內外，發現了夢中所說的那塊空地，便命人造了一座亭子，並命名為“征夢亭”。