眼见自己无法成为天子了，杨秀也就变的极为地不捡点，在蜀地“违犯制度，车马被服，一拟天子”，自己关起门来做皇帝。

杨广知道这件事之后心中极为的高兴。虽然眼见对这位四弟不是很喜欢，但是一直放在那里，杨广的心中还是有些不舒服。因为迟早会威胁到自己，现在杨秀违犯制度，车马被服，一拟天子。给了杨广攻击的借口，可以让杨秀永远无法威胁到自己。

在和杨素、裴矩等人商议之后，杨广让杨素上表弹劾杨秀。

对于任何一个帝王来说，都不能容忍自己的权威受到威胁，就算是自己的兄、弟、妻、子也不行，杨秀的所作所为让杨坚对自己这个本来就不是很喜欢的儿子极为的讨厌，在朝堂上大雷霆，说道：“当斩杨秀于市，以谢百姓！”

就算是这样，杨广还是有些不放心。派人做两个小木人，分别写上杨坚和汉王杨谅的名字，“缚手钉心，令人埋之于华山下”。然后，杨广又指派杨素等人把偶人挖出，诬称杨秀所为。杨坚暴怒如狂，马上废杨秀为庶人，禁锢终身，诛杀他手下数百僚属。

杨凉在知道杨秀之事之后。本来就对杨广不满的杨秀心中更加的紧张，以防突厥的名义，缮治甲兵，大器具，训练士卒以备不时之需。

而这时候独孤皇后也已经过世了，杨坚更是放纵，耽于美色，没有人给杨秀说话，即使最后杨坚并未处死杨秀，但是杨秀却也是形同废人。