全荊州驚嘆之余，都盛贊巴東王有手腕，有魄力，能壓服世家，更難得是心系民生。要知道，即便是豫章王主政荊州時，也沒有提過建常平倉的事。
在巴東王聲望日漲的同時，一個貴族少年的身影也進入到一些人的視線中。
此人姓王名揚，據說是瑯琊王氏子弟，才高八斗，還不到做官的年紀，但竟能以白衣的身份，參與籌建常平倉，并由此衍生出各種稀奇古怪的傳言。
有的說王揚家掌控了小半個浙東的糧食貿易，現在正源源不斷地往常平倉運糧；有的說這只是世家公子積攢資歷的一個手段，頂個參與事務的名頭，只是為將來仕途鋪路罷了。還有說這里面水深無極，各大勢力都要來分一杯羹，王揚便是瑯琊王氏的代表，所謂常平倉，不過是官府和世家換了一種方法，聯合起來撈錢而已。
最后一種說法最荒誕不經，但在民間流傳很廣。百姓們喜歡把復雜的問題簡單化，把簡單的問題復雜化。前者比如把一個高門姓氏直接同等于一個大勢力，這是尋常民眾最習慣的劃分方式。
在民間不少人的想象中，整個瑯琊王氏就是一個大勢力，所有子弟都是為這個勢力服務。但現實的情況是，瑯琊王氏支脈繁雜，分散各地，很多支系之間早就出五服之外了，別說關系遠的不相通問，就是三族之內，也有不交一言的現象。至于政治上的敵對，人情上的抵牾，那更是常見，所以別說王揚能做瑯琊王氏的代言人，就是把各枝脈的族長都請到一起去，也很難為整個王氏代言。
故而這樣的謠言也只是在民間流傳，學子們是不會信的，學子中間流傳的是另一則消息，說王揚做綢緞生意，是不惜污身賈道，以換取常平倉的順利籌建。
質疑者聽到這個說法每每要追問，做綢緞生意和建常平倉有什么關系？！說者要么神秘一笑，要么不屑作答，反正罕有能真正說清緣由的，所以總在論戰中處于劣勢。
直到南平郡一個崇拜王揚的學子，寫出了一篇奇文，題名《綢（籌）糧釋論》，自述寫此文之目的在“昭彰王君莫白之心志，見其中有以令人感泣而不能自已者。不使無知之徒，虛妄揣測！輕薄之人，深詆厚誣！”
文中考證鉤沉，旁征博引，從綢緞與糧食的異同寫起，一直寫到荊州貿易局勢與世家關系網絡，又以王揚的交游言行為旁證，索隱推論，洋洋灑灑寫了三萬余言，可謂蔚為大觀。最后指出：
“王君之志，皆早寄于歌詩之中，而昧者不能察也。‘彩袖殷勤捧玉鐘’，即暗喻其以綢緞入局，籌糧建倉之志。
彩袖即錦緞也；殷勤者，勤懇不倦之意。鐘乃糧之代稱，《史記·貨殖列傳》言：‘販谷糶千鐘’。玉者，天下貴物，人皆重之。言‘玉鐘’者，乃取‘民以食為天’之意，以糧事為國家要務，故不可不重也。