要供奉三军，民不堪命，恐亦将散乱耳。”
赵才地位高，影响力大，连天子都敬三分，虞世基也不好攻讦，但一个小小的门下录事，虞世基就无需放在眼中。
于是立刻便有虞世基的党羽站出来攻讦李桐客“诽谤朝廷”。
杨广也想快刀斩乱麻，于是命人将李桐客处置。可怜李桐客一番竭诚之心、坦荡之言，最后却落得差点丢命的下场。
没了赵才和李桐客，朝堂之上，再无反对的声音。
于是虞世基领头，称颂天子道“江东之民望幸已久，陛下过江，抚而临之，此大禹之事也。”
至此迁都之事，遂成定论。
杨广乃下令修建丹阳宫，准备迁都之事。
其实杨广想着迁都丹阳，到不仅仅是只图享乐，而是为了身后事。一方面他对现在的局势彻底悲观了，不认为可以平定天下的动乱。现在唯有江南安定，既然关中、河东等地皆丧，东都洛阳也要不保，那退保江南，还能保住半壁江山。
君不见当初西晋“永嘉之乱”，南渡者得活，而留下来的，大多皆丧。
另一方面，杨广底牌尽失，此时能依靠的，也就只有江南世家了，否则也不会将大权都交给虞世基。迁都江南，也是为了更好地获得江南世家的支持。
不过迁都之事一出，整个江都，立刻哗然起来。
人心动荡，军心紊乱。
朝野内外，议论纷纷，不少人更是扬言面谏天子。当然，大部分也只是说说，没人敢触这个眉头。
这时以赵才等为首的关陇一脉的天子嫡系，仍不罢休，还想尽最后一份力。于是众人商议，既然改变不了天子的决心，那就弹劾虞世基，使之自乱阵脚。
众人还对天子有最后一份信心，只要将虞世基的罪证摆在天子面前，天子会看明白的。
于是治书侍御史刘子翊上书弹劾道：“虞世基及御史大夫裴蕴职典枢要，维持内外，四方告变，不为奏闻。贼数实多，裁减言少，陛下既闻贼少，发兵不多，众寡悬殊，往皆不克，故使官军失利，贼党日滋。请付有司结正其罪。”
其实还是说虞世基蒙蔽天子，隔绝内外。众人准备了良久，最后又来了一个老生常谈的话。
不得不说，忠臣的手段往往比较少，你就是告虞世基一个造反也可以啊，先把水给搅和混了再说。说什么“蒙蔽天子”，那是天子不想醒啊。
于是都不用虞世基出手。
大理卿郑善果奏道：“刘子翊诋訾名臣，所言不实，非毁朝政，妄作威权。”直接给刘子翊扣了一个“诽谤、擅权”的大帽子。
人家虞世基有天子撑腰，不怕弹劾，这刘子翊就不成了。
于是虞世基一党群起而攻之，杨广也趁机将刘子翊贬出朝去，担任丹阳郡太守，去给天子修丹阳宫去了。
经此一役，以赵才为首的关陇系保皇党大败亏输，赵才也不得不称病不起。
而随之而来的，再无人敢对虞世基置喙了。