嚴浚為人素重交結，他有許與生死不易之友，如張九齡和裴耀卿等等，彷彿是為了彌補早年的硬漢性格，他儘可以體諒他人、處事也能更近乎人情；凡舊交好友先歿辭世者，他都厚撫其妻子，出錢資助之外，還饋贈嫁妝，撫恤故人孤女數十人，善事義行，當時頗受世人稱許。

開元末年，張九齡受封始興縣伯，請還展墓，病卒，年六十八，贈荊州（湖北江陵）大都督，謚號曰文獻。

他留有一首膾炙人口的詩『登荊州城望江』：「滔滔大江水，天地相終始；經閱幾世人，復歎誰家子？東望何悠悠，西來晝夜流；歲月既如此，為心那不愁？」

這詩述懷詠嘆，悠遠愁思，卻也勘透人生，為他起起落落、輪轉此生，下了個無解的註腳。

然後，不久僧惠義也病故，只他一人服縗麻大禮，送靈柩於龕所。

惠義自小父母雙亡，又無兄弟姊妹，要說至親之人，就他和張九齡而已；如今，張九齡早已故世，無人送終，幾年來嚴浚雖過慣了寂寥獨居的日子，但這與亦師亦友的高僧之最後一面，他也覺得彌足珍貴。

行至窮郊野，空曠無極，見山間孤墳崢嶸，貴賤死生同一塵，卻寂寥無人祭拜，嚴浚的心境不免更蒼涼了。

「積此萬古恨，身歿不復生；悲風別離苦，堙埋蒿裏塋。」他黯然道，哀慟惠義之死，卻也悲憐自己頓失良師益友。然而，他也領悟到：「倘若無死生，亦有所悲；人生在世共如此，又與浮雲流水何異？」

喈嘆欲自慰，彌起長恨端……嚴浚心裡哀嘆著，又回憶當年為官，立身處世計幾誤，道險艱難無容針，聖主雖曾有所啓迪，重用他為尚書左丞，只可惜還未展平生抱負，便已失勢，遭到貶謫。

這當兒，正巧朝中大臣齊澣也被下放，和嚴浚亦爲李林甫所廢，二人留司東都洛陽。

嚴浚雖然還想做些大事，無奈自己只是個地方小官，頂多只能自況：「民不可刁，官不可僚﹔橫眉干為千夫指，俯首願為孺子牛！」

這齊澣也非什麼好官，當初因為倚賴高力士從中幫助，連陞為兩道採訪使，遂興開漕之利，以中人主意，復行勾剝財貨，賄賂朝中顯貴，私裒國家貨財遺謝廟堂貴幸，當時輿論罵他、菲薄他，種種作為皆惹人物議；他又納劉戒之女為妾，凌其正室，不答其妻，專制家政，和嚴浚以往對裴寒竹、英霙的情況，頗為類似。

由於李林甫厭惡他，又見他在皇帝跟前日益受寵，便遣人掎摭齊濣之失，意欲擠而廢之；等到齊澣的幕府判官犯了贓罪，齊澣受到連坐，李隆基便下詔開革他一切官銜，又矜憐齊澣年老，要他廢歸田里、回家養老。

齊澣失勢後，回到家裡，心中愈益悵恨，素操寖衰，也不與鄉里士紳為伍；他和嚴浚在朝也只有幾面之緣，因齊澣向來就禮佛誦經，又對於僧惠義這等高僧，向來崇仰有加，當他聽聞惠義去世， 曉得僧惠義這位大師有位高徒嚴浚，他幾經朋友處知悉兩人遭遇相當，便主動登門拜訪，聊表心意。

這一天，嚴浚剛作了五絕一首，送給齊濣：「浩氣凌太虛，丹心照千古；畢生志未伸，老朽何所處？」

齊濣感慨道：「好詩啊好詩，真說到我倆心裡去了！」

嚴浚道：「語曰：『日中則移，月滿則虧』；物盛則衰，天地之常數也。進退盈縮，與時變化，聖人之常道也，故『國有道則仕，國無道則隱』，我倆功成不去，禍至於此，此所謂信而不能詘，往而不能返者也，范蠡知之，超然辟世，長為陶朱公。君獨不觀夫博者乎？」

齊濣笑呵呵道：「古人說：『欲而不知足，失其所以欲；有而不知止，失其所以有』，愚兄是攢了不少養老的緡錢，說我是陶朱公，倒也不錯啊！」

嚴浚也難得把貶謫之事看得淡了，便道：「我也是這幾年沉潛，纔知忍不能自離，疑不能自決，必有禍矣。易經曰：『亢龍有悔』，此言上而不能下，信而不能詘，往而不能自返者也。子壽曾告訴過我，有否有泰，由剝而復，人生不也如此？」

齊濣慨然一笑：「賢弟說得是！」

因為二人皆為朝廷舊德，又都被李林甫陷害罷黜，既已廢居家巷，禮尚往來，嚴浚也就常私下拜訪他，杖屨經過不缺日，園林行樂，談讌終日，相知相惜。

李林甫暗中得知此事，怕他二人相合為謀，便欲離其勢，乃用齊澣爲平陽太守（郡長），調離京師。

齊澣看得開，留書一封給嚴浚，道：「多日相樂，聽鐘鼓鹿鳴之聲，論今古興衰之道。涉大川憑於舟栔，和鼎實寄于鹽梅；得人則治，何世無奇才？不得而遯，何往有餘恨？」

嚴浚愁悶之際，雖說仍有好友可堪告慰，但對於現世，卻感到時運不濟。