張九齡雖考慮過各種可能發生的情況，但他斷沒想到，第二天早朝，皇帝退回二位宰相的上疏，奸臣李林甫甚且當朝將了他們一軍。

李林甫當著滿朝文武，敘述嚴浚的罪狀，誣陷張九齡道：「臣聞明主絕疑去讒，屏流言之隙，塞朋黨之門，方為上策。陛下，既然這嚴浚罪證確鑿，張丞相和裴丞相卻一體上書保他，言之鑿鑿，護短有加，可見三人俱係朋黨，比周為奸！」

裴耀卿氣不過，登時勃然大怒道：「李哥奴，你含血噴人！人情所不能止者，聖人弗禁；人非堯舜，何得每事盡善！嚴浚秉公行事，何罪之有？」

李林甫冷笑道：「這朝中恁誰都曉得您裴丞相與嚴浚交情菲淺，要想同流合污，難保不會出言替好友圓謊說項……朋黨誤國，莫此為甚！」

張九齡反駁道：「孔子與顏淵、子貢更相稱譽，不為朋黨；禹、稷與臯陶傳相汲引，不為比周。忠於為國，公以立身；賢人在上位，則引其類而聚於朝，易曰：『飛龍在天，大人聚也』；在下位，易曰：『拔茅茹以其彙，征吉』。李林甫為樞機大臣，王室之佐，既不能輔化成德，齊美古人，卻肆其私忿，枉論無辜。今佞邪與臣交戟，合黨共謀，違善依惡，歙歙訿訿；李丞相數設危險之言，欲傾移主上，望陛下鑒察。」

李林甫道：「皇上切莫聽信小人之言！臣欲盡忠誠，若要結舌不敢言，就為忌憚這些朋黨，豈不是飛塵濁清流之源？又何以為百官表率？」

裴耀卿趨前道：「正直罹譖潤，姦臣奪其權，張相非為己身辯，乃以公正從之。『君子以朋友講習，而正人無有淫朋』，是以古之交者，其義敦以正，其誓信以固啊！」

李林甫笑道：「好一對君子！詩經有言：『憂心悄悄，慍於群小』，一群小人猖獗橫行，結黨營私，廟堂之上詆毀袍澤，怎不教人忿忿不平？」

張九齡不願與李林甫糾纏，轉身對皇帝一揖：「陛下，王元琰一案，尚未查明真相，若是聽信謠言定讞，不啻失卻法理人情，更可能斷送輿論民心！」

李林甫怒道：「皇上，古今賢士大夫所以失名喪身傾家害國者，其由非一也，然要其大歸，總其常患，四者而已。急論議一也，爭名勢二也，重朋黨三也，務欲速四也。急論議則傷人，爭名勢則敗友，重朋黨則蔽主，務欲速則失德，此四者不除，未有能全也。當世君子能不然者，亦比有之，豈獨古人乎！」

裴耀卿憤怒地指責道：「李哥奴，我與子壽從不爭名勢，也無朋黨營私之舉，你何必含沙射影？」

李林甫冷笑道：「你這還不算爭論議？古人云：『民有善則無淫過朋黨之惡，比周之德，惟天下皆大為中正也』，近朱者朱，近墨者墨，自然君子之道消矣。」

張九齡見他二人爭執不下，又看到皇帝一臉的不悅，連忙跪地叩首道：「子壽以舊恩，超居佐命，盡誠翊亮，知無不為，陛下亦推心置腹，所奏多允，祈請聖上明鑑！」

李隆基聞言，猶自疑心，便道：「愛卿，莫說有黨，你與裴愛卿百般迴護嚴浚，雖是愛才惜賢，卻不免出於朋輩同儕之私心。王元琰一案，嚴浚或許忠直公正，然事出曖昧，爾等難辭其咎；你與裴丞相俱罷知政事，至於其他懲處，朕自有定奪。」

俟後，張裴二人罷相，即日李林甫代張九齡爲中書令（宮廷政務官）、集賢殿大學士（全國最高政策總召集）、修國史，嚴浚降調爲洺州（今漳河附近、河北曲周東南）刺史（州長），王元琰被免官，流放嶺外（南嶺以南）。

李林甫面柔而有狡計，能伺候人主意，故驟歷清列，為時委任。而中官妃家，皆厚結託，伺上動靜，皆預知之，故出言進奏，動必稱旨。而猜忌陰中人，不見於詞色，朝廷受主恩顧，不由其門，則構成其罪；與之善者，雖廝養下士，盡至榮寵。尋歷戶（財政部）、兵（國防部）二尚書（部長），知政事如故。

而張九齡罷相，李林甫專制國事，數次稱美壽王李瑁以揠武惠妃意，武惠妃果然在皇帝面前稱讚他的德行。

李隆基聽了武惠妃的話，又輕信身邊小人的說法，詔書一出，裴耀卿、張九齡這兩位左右丞相，沒多久就因此事在朝堂上雙雙被罷免了。

見二人失勢受黜，當場俱廢，李林甫在一旁嘻笑譏刺道：「還想當什麼左右丞相麼？」目恚深險，神色陰摯，令滿朝公卿為之戰慄駭懼。