賀渾豹子的回文到了謝崇軍中，謝崇把帳下文武諸吏招來商議。
眾吏聞之，俱皆憤慨。
尤以劉閑之最為勃然，他怒罵不已，說道：“賀渾豹子這條羯狗，像喪家之犬一樣，投奔國朝；若非圣上不計前仇，收容於他，他早就尸骨無存！這次攻打徐州，也是他主動提出的請求，現卻不聽從明公的命令，果然胡夷之屬，禽獸也，不足信，可惡、可恨！”
劉閑之長相威武，本就面色紫赤，這一發怒，臉上的赤色愈勝，望之令人敬畏。
但是賀渾豹子已然不肯聽從謝崇的調令，既然他不愿來，那么就算是發怒，也沒有一點用處。
謝適跪坐席上，等劉閑之罵完，冷靜地分析說道：“蕭縣的氐虜援兵已經出發，向彭城縣而來，傅陽、武原的氐援而下雖然沒有什么異動，但就像一把刀，懸在我軍的頭上。賀渾豹子拒絕接受命令，不肯來與我軍會合，一起攻打彭城，只靠我軍之力，彭城縣已是不能再打了。”
謝崇問道：“阿大，卿何意也？”
謝適答道：“阿兄，眼下之計，以弟愚見，似乎只有撤退這一個選擇了。”
大家討論了一番，雖然多不甘心，可是謝適的分析不錯，目前的形勢而言，確實是彭城已不可打，唯有撤退。
謝崇輕拈羽扇，投目於外，越過帳前丈余高的颯颯將旗，望彭城縣的方向，惋惜地說道：“遷鼎以今，歷次伐徐，以今次最盛，而彭城克取在即，功虧一簣，惜哉！”
劉閑之猶然惱怒賀渾豹子的不遵將令。
他忿忿說道：“明公，賀渾豹子不可輕饒，明公宜當彈劾於他！”
謝崇瞧了他眼，說道：“彈劾他，又有用么？”
賀渾豹子現在名義上是投降了江左，但事實上，不但賀渾豹子本人沒把自己真的看成是唐家的屬臣，江左內部的君臣，也根本沒把他當做是自己人；而且賀渾豹子的地盤是廣陵郡，他又不是身在江南，謝崇便是彈劾他，也一點用處沒有。
——天子的訓責，對賀渾豹子來說，大概他也不會在乎。
劉閑之怒道：“那就這么算了？”
長史王修之安慰劉閑之，說道：“此回雖功虧一簣，不得不從彭城撤兵，但下邳、臨淮兩郡已為我軍所得，且等在徐州站穩了腳，然后將徐州全境光復，再尋機解決賀渾豹子不遲。”
……
北府軍的文武官吏主要由兩部分構成。
一部分是主要由次等士族組成的官員群體。
這部分官員是北府軍的中高層，包括謝崇軍府的參佐大吏，長史王修之、司馬謝適、參軍顧樂之、劉閑之、高素、劉肅之等；以及擁有將軍號的戴展等。
比如劉閑之，他盡管以武勇著名，然他家實乃士族，其祖曾任太守，其父曾任征虜將軍，只不過，比之江左的那些閥族、高門，其家只能算是個次等士族。
一部分是主要由流民帥組成的軍將群體。
這部分軍將是北府軍中的中低層，孫無極、朱雋等便屬於這個群體。
當然，孫無極、朱雋等能夠成為流民帥，各自都有數百到一兩千不等的部曲，實際上他們的出身亦非尋常百姓，他們大多也本是士族，祖上是曾有人在唐室出任過高官的，但現在他們的家族，或言門第已經衰落，所以只能以流民帥的身份擔任中低級的軍職。
地位上言之，參軍自是比參將為高，然劉閑之以武勇出名，素來喜歡結交豪俠壯士，所以他和孫無極、朱雋等這些參將的關系都不錯。
出了帳后，他便把孫無極、朱雋等人找來，告訴了他們賀渾豹子不聽從命令，謝崇準備撤軍撤退，命令大概今天就會下達的事情，說完之后，又是大罵一通，與朱雋說道：“齊奴，賀渾豹子不肯從令，這事兒還真被你說對了！早知如此，我就應把你的猜測稟告給明公了。”
朱雋想了下，說道：“如果我軍從彭城撤退的話，那么氐虜的冀州援兵會不會去打賀渾豹子？”
劉閑之說道：“適才帳中商議的時候，考慮到這種可能性了。督公按照謝參軍的建議，已經給賀渾豹子去了檄文，告訴了他我軍將要撤退；要他最好也從郯縣后撤，以免被秦虜包夾。”
話語之間，劉閑之似乎對謝適的這個建議很不以為然。
卻是謝適與劉閑之不同，他雖也不滿賀渾豹子的不從命令，然而能從大局出發，全局著眼，畢竟當下的北府軍還是需要賀渾豹子這個助力的，該忍讓的時候就得忍讓。