楊達身為宗室，人倒比較聰明，看形勢不對，主動的轉為武職，離開了中樞。
蕭綜則因為捲入賀若弼一案，又曾當過天子，因此被楊廣找機會也罷免了，不久也死了。
搞倒了那批從龍功臣後，楊廣便著手打造一個新的宰相班子。
他重新啟用了老臣蘇威，蘇威幾起幾落，也是被折騰的沒脾氣，老實聽話的多，於是坐上了納言之位。
楊廣不再把尚書令、內史令這兩個三高官官之位輕易授人，而是授給了裴世矩黃門侍郎、虞世基內史侍郎之位，讓兩人以侍郎之職代行長官之職，又讓裴蘊做了御史大夫，還從武將中選了宇文述進來，成為這個新宰相班子。
這個新班子比起之前那個，就要全面一些，也更聽話，更受皇帝控制。
納言蘇威資歷最老，在文帝時就兩起兩落，在楊廣朝也同樣已經兩起兩落，他是蘇綽之子，同樣是關隴豪門，只是蘇威這人膝蓋較軟，雖然本事很強，就是沒什麼骨頭，折騰幾次後，便徹底順著楊廣的意思來了，用他做宰相比較方便。
而宇文述這人，當年楊廣還是晉王之時，就是他的親信了，雖然也是關隴集團，但宇文述家族以前不過是北周宇文氏的奴僕，他們本是匈奴人，後來做了鮮卑宇文家族的奴僕，經歷一二百年，才終於混得了個出身，後跟著宇文泰建立西魏北周，也算是立下了汗馬功勞，於是也成了關隴集團之一。
但相比八柱國家，宇文述家族以前在關隴集團中頂多算二流，連一流都摸不到邊，更不說頂級的。因為宇文述這人一來是以前的親信，二來又只是一介武夫，三來還聽話，四來這人家族實力也不算強大，因此楊廣也便拉他做了個軍方代表。
至於裴世矩，他是出生北齊的山東士族，算是山東士族在朝的代表，他是邊疆問題和民族問題的專家，是楊廣的外交大臣。
虞世基則出身陳朝，曾經是江南最有名的才子，大書法家虞世南就是他的弟弟，虞世基一樣精通書法，工於草隸，陳朝時期就被稱為南金之貴。楊廣選他為相，一來是因為他出身江南，算是作為朝中安撫江南的典型代表，二人虞世基確實是個很厲害的筆頭，因此楊廣看重他的文才，用他做自己的秘書。
至於裴蘊，出身河東名門裴氏，但其祖輩在南梁南陳任職，其父在陳朝當將軍。後來裴蘊父親被北周俘虜，於是留在北周當官，隋代周，其父也就成了隋朝官員。而裴蘊在陳朝當官，暗暗與其父聯繫，主動充當了隋朝的內奸間諜，提供給隋朝大量情報。
隋滅陳後，他也就入隋做官。
楊廣選他為相，一來看中他的行政能力，二來，這人最會琢磨皇帝心思。所以楊廣特意用他做御史大夫，負責監察百官。
這新五貴組成的宰相班子，代表面廣，不管是關隴集團還是山東士族又或江南士族，都有。
再一個，除了蘇威是名正言順的納言，其餘四人都並不是正式的宰相，這利於皇帝控制。
最關鍵一個，這五人都不是硬骨頭，對皇帝很遵從。