好事不出門，壞事傳千里。
很快蜀王是真正兇手的說法便傳了出去，而此時朝堂上的輿論也開始轉折、發酵。眾人都知道原來截殺黃明遠的竟然是毫無存在感的蜀王。
有人若是反駁，支持者便會說道：“蜀王如不是陰謀作亂，又如何會在京囤積數百死士？”
不論真兇是不是蜀王？這蜀王府中的數百死士成了壓倒楊秀命運的最后一根稻草。
隔了幾日，楊素又上奏，說有人在華山底下挖出來木偶，上面寫著楊堅和楊諒的名字，絲繩束手，鐵釘穿心。
楊堅氣得差一點昏厥，令人立即前往益州鎖拿楊秀進京。
事情發展到這一步，其實再去查楊秀是不是幕后主使已經沒有太大意義了。眾多的事情積聚在一起，楊堅這次鐵了心要廢黜楊秀。
無論是蜀王宅里的死士，還是華山下的木偶，其實都是楊廣布置的。為此楊廣付出了數百私兵被殺的代價，當然這其中很多人不是真正的私兵，不過人都死了，再說這些也沒用。
對待敵人，楊廣真狠。
楊廣又以楊廣又以楊秀的口氣作檄文，說：“逆臣賊子，專弄權柄，陛下空守朝堂，一無所知。”然后陳述兵甲如何強大，說是要“指期問罪”。最后楊廣把這篇“檄文”偷放在楊秀的文集之中，交給了楊堅。
不得不說，對兄弟下手，楊廣真是太擅長了。從楊勇到楊秀，他不可謂經驗不豐富，招招都是死穴。
楊昭看到事情如此急轉直下，心中無比擔憂，去信黃明遠說了一下京中的形勢。黃明遠回信楊昭，讓他稍安勿躁，靜待京中之事自己發展便是。楊昭也清楚這些事情真不是他能夠左右的，只得無奈作罷。
不久之后，楊秀被鎖拿回京。
楊秀可以說在幾個兄弟中是個完完全全的悲劇人物。作為楊堅的親生兒子，他從小就是一個舅舅不疼，姥姥不愛的人。楊堅經常對獨孤皇后說，楊秀一定不會得善終。不管楊秀到底多不堪，但這么說自己的兒子，做父親未免也太不厚道了。有這樣一個爹，命運怎么可能會美好。
史書記載：楊秀膽氣豪壯，容貌雄偉，美須髯，多武藝，朝廷百官對他非常敬畏。可楊秀被楊堅逼地廢了，也就兩件事。
楊秀通過元衡請求楊堅給他擴大部屬，增加官佐這些權力，卻被楊堅痛斥。按道理來說，楊秀鎮蜀，安排點死黨也算正常，楊堅根本犯不著如此生氣。難道你楊堅真的如此公正為國？但同樣的楊諒卻有督五十州，遇事不必拘于律令限制，有自行行事的特權。
開皇初，黨項羌屢次在邊境襲擾，朝廷派大將軍劉噲征討，同時楊堅又派上開府楊武通統兵。楊秀作為益州總管，派遣心腹萬智光擔任楊武通的行軍司馬本就正常。楊堅倒好，痛罵了一頓，還當著群臣的面：“違犯朕所制定的法律的人，必然出現于朕的子孫當中。這就像猛獸一樣，強有力的外敵都無法傷害，但它卻會被毛間小蟲叮咬、吸食。”