胡宗憲覺得這次趙文華能夠大敗倭寇，還是狼兵驍勇善戰，也想調用狼兵到浙江來作戰，但是被鄭若曾和徐渭否定了，原因很簡單，張經、趙文華能夠調動狼兵，都是因為當時倭寇猖獗，本地官軍和調來的客兵無力御敵，才準允調動狼兵來的。
眼下倭寇并沒有大舉襲擾浙江，胡宗憲就算上疏，恐怕也不會被朝廷準允。
徐渭還指出了調客兵的三個危害：滋擾地方、部分客兵戰力不佳、耗費靡餉，客兵的軍紀不佳已經是人所周知的了，之前松江大捷，趙文華為了約束狼兵，不惜傾盡府庫，賞賜狼兵，就是為了滿足狼兵，不讓他們借機作亂，一旦狼兵或者其他客兵在浙江作亂，胡宗憲作為浙江巡撫和倡議調客兵的始作俑者，必然被彈劾。
胡宗憲便問道：“那以二位先生之見，應當如何處置此事？”
徐渭拿出自己擬的一份文書，對胡宗憲說道：“眼下要務，首先就是筑城。”
進入胡宗憲幕府的數月內，徐渭利用胡宗憲幕僚這一身份，考察了整個浙江城池，徐渭發現，浙江地區面臨的城池現狀是：沿海諸縣仍有相當部分未筑城池，而元末明初興筑的城池至今已漸趨坍圮，根本無法達到御暴衛民的目的。
徐渭說道：“東翁，浙江全境，尚有未筑城墻的，州縣十九個，僅杭州附近，就有富陽、臨安、新城、嘉善、崇德、平湖、桐鄉等未有城墻。”
沒有城墻，就意味著面對倭寇的劫掠，老百姓連庇護所都沒有。不光如此，有些州縣雖然有城墻，但是年久失修，難以御敵。如余杭縣，城墻已經不足一丈，而且有多處坍塌，城防設施也基本都沒有，敵樓、望臺是一個也無。
徐渭已經統計過了，大概需要新修和重修的城墻有31處，一下子修筑這么多的城墻，需要巨額的投資，雖然縣城的修筑，往往由知縣聯合城中的富戶出資，省里面不會給太多錢，但是31座城墻，加起來也不是個小數字啊。
先胡宗憲沉吟不語，徐渭說道：“東翁，夫生歷有階，御戎無策，曩者所恃以為安者，今無賴矣，無巳其城乎？夫城之為役固巨，然與其委積聚以資寇，孰與并汗血以自守，且吾誠不欲靳一時財力而不為吾民建萬世長策也？”
鄭若曾也勸道：“東翁，盜起而無城，是棄民也，宜亟下其議！”
胡宗憲當然知道兩位幕僚的意思，若是到時候因為沒有城墻，導致之前像上海縣被倭寇劫掠那樣的事情再次發生的話，恐怕胡宗憲頭頂的烏紗就難保了。
胡宗憲思慮再三，下定決心說道：“誠如二位先生所言，城工一勞永逸，當亟為亡羊補牢計！請二位先生助某一臂之力！”
鄭若曾、徐渭趕緊協助胡宗憲草擬修筑城墻的各種文書。</p>