正當楊廣和裴矩議論太子的時候，黃明遠的老師張衡也得到消息趕來了。
今年春季二月，熙州人李英林率眾造反。三月辛卯日（初二），隋文帝楊堅任命揚州總管府司馬張衡為行軍總管，統帥步兵、騎兵共計五萬人討伐李英林，予以平定。張衡平亂回朝后被授為開府，賜奴婢一百三十口，縑采五百段，另加金銀和牲畜。
之前黃明遠還不知道張衡已經從熙州回來了，但一直在京中的黃明襄倒是清楚。他見黃明遠的事情重大，馬上前去張衡府上求見。
黃明遠是張衡最得意的弟子，而且此時事關太子之位傳承與朝堂的穩定的關鍵時候，他如何敢輕視。因此張衡顧不得其它，連晚飯都沒有吃完扔下飯碗就跑了。
張衡在晉王府上又聽到了當時事關黃明遠和于讓當時具體的情況，跟楊廣等人的猶豫不同，他一口咬定這是太子一黨對晉王黨的反擊，強烈要求楊廣立刻做出決斷，進行反擊。
張衡是個執拗的人，要不然他也不會一心攛弄著楊廣爭儲了。現在這是一個絕佳的機會，此事無論是不是太子的陰謀，只要牽連到太子身上，都有可能將太子直接擊倒。
想想若是太子真的動手自己將會遭遇的下場，楊廣此時額頭上的汗都出來了，心中擔憂的連拿杯子的手都在發抖。他無論如何也沒想想到大兄這么有勇氣，會走上反抗的道路。
看楊廣有些緊張，張衡不由得來氣，這個時候都要刺刀見紅了，再是畏懼又有何用。
張衡接著說道：“現在雙方仇怨已經造成，一旦禍患暗發，豈只是晉王府不可收拾，實際上整個社稷的存亡都成問題。晉王當采取與周公平定管叔、蔡叔相似的行動，以便安定皇室與國家。存亡的樞機，形勢的危急，就是現在了！”
說完，張衡又看向裴矩。
裴矩心中已經沒了剛開始的緊張，不住地在盤算在事情的前后，不過看張衡說得如此嚴重，也跟著說道：“這事確實是急在眉梢，不可緩了。”
畢竟事關生死存亡，楊廣猶豫也是正常的。
張衡又說道：“王爺功蓋天地，應當繼承皇帝的大業。現在王爺擔心危機發生，其實這個機會正是上天在幫助王爺啊。希望王爺不要疑惑不定了。”
這時候張衡心里話說出來了，他要幫楊廣爭的不僅僅是太子之位，如果可能，這皇帝也是能當得。
楊廣想了想，還是搖搖頭說道：“孤王覺得還是不成。骨肉相殘，是古往今來的大罪惡。孤打算在禍事發生以后，再舉義討伐他們，這不也是可以的嗎！”
這時郭衍與宇文述也到了，如此大事，楊廣自是要邀幾位心腹商議。
剛才二人在門外已經聽了不少，聽楊廣這么說，郭衍當即徑直入內反駁道：“作為人之常情，有誰能夠舍得去死！現在大家誓死侍奉王爺，這是上天所授。禍事馬上就要發生，王爺卻仍舊神態自若，毫不擔憂。即使王爺把自己看輕，又怎么對得起宗廟社稷呢！如果王爺只愿為了不骨肉相殘而荒廢國事，我就準備逃身荒野草澤，不能留在王爺身邊，拱手任人宰割！”