隋文帝之所以開始疏遠高熲，除了因為獨孤皇后與晉王楊廣暗中使壞外，隋文帝自己的變化也是重要的原因之一。

開皇十二年，與高熲、楊素等人一起為隋文帝謀劃朝廷的規章制度的尚書右僕射蘇威，他的兒子蘇夔在一場宮中音樂制度的討論中，與會者因畏懼其父蘇威權勢而多附和蘇夔的意見。持反對意見的國子博士何妥據此上奏指控蘇威結黨營私，被此案牽連的知名之士多達百餘人。蘇威被免除官職貶為平民，由越國公楊素接任尚書右僕射，與高熲同掌朝政。一年後蘇威才恢復官爵並擔任納言，直到隋文帝、仁壽元年才再度擔任尚書右僕射。

由於位於長安的大興城於夏季酷暑時炎熱難耐，隋文帝詔告天下徵求山川圖以便建一座避暑離宮，選定了位於長安西北、岐州的麟游鎮頭（今陝西省寶雞市鳳翔縣）建造離宮。隋文帝命右僕射楊素監造、宇文愷為檢校將作大匠（代理總工程師）、封德彝為土木監、崔善為為督工，調集了數萬民工，當中便有一萬多人於工程中死亡，而傳說楊素命人就地挖坑掩埋，也就是這處離宮的地底下埋藏了這一萬多名被累死的百姓及工匠的遺體。

歷時兩年三個月，開皇十五年，這處離宮竣工完成，隋文帝親自命名為「仁壽宮」，並派遣高熲先行前往巡視。高熲回來後報告指其過於奢侈華麗，且耗損過多的民力以致民怨沸騰。生性節儉的隋文帝在證實高熲所言不假後大為震怒，指著楊素大罵：

「朕因你與天下人結怨啊！」

楊素因此憂懼不已，但封德彝安慰楊素，說：

「越國公您放心，皇后娘娘不久之後定有恩詔下達。」

次日，楊素奉召晉見皇后，原來獨孤皇后在看過仁壽宮的資料後非常的喜歡，特別召見楊素並慰勞他。果然，因為獨孤皇后喜歡仁壽宮，隋文帝也作出了轉變，不但不再斥責楊素，反而賞賜一百萬錢以及三千段錦絹作為獎勵。

這座仁壽宮不但讓隋文帝轉了性子，也讓他正式成為了歷史上有案可查的PTT（怕老婆）會員。政務繁忙的隋文帝在之後的十年間雖然只來到仁壽宮避暑六次，其中一次他看上了一名宮女並且臨幸了她。這事被獨孤皇后知道了，不但打翻了醋罈子，還直接將這名宮女殺了。不敢對老婆做出過激反應的隋文帝只能氣得翻身上馬獨自一人就衝出宮外，不看路的便衝入了山徑小道中瞎溜達，還是高熲、楊素等一干大臣們隨後追尋並好言勸解，讓隋文帝嘆著氣吐了一肚子的苦水，說：

「吾貴為天子，不得自由！」

這才由眾臣陪同返回仁壽宮。獨孤皇后也自知理虧而主動謝罪，雙方這才算和好如初。

----- 待續 -----