于是當天晚上，二更時分，楊玄感就悄悄的帶著全軍撤退，為了能夠多爭取一點時間，他甚至下令，營寨物資等全都不帶，甚至許多投奔他的兵馬的家眷老營，也都不帶。
楊玄感逃命的速度還是很快的，他與李密兩軍匯合，各只帶了約三萬人南逃，沿著運河先南下，然后再沿蔡水進入淮陽郡，繞過趕到許昌的衛文升軍，往汝南、南陽跑，經南陽盆地逃入山南，直奔武關而去。
不得不說，這一招還真是大出各路官軍意料之外。
楊玄感跑了一夜，滎陽關上才發現他們半夜跑了，張須陀和裴仁基一商議，得防楊玄感搞花招，于是裴仁基率兵一萬出城追，張須陀繼續鎮守虎牢關。
裴仁基兵少，不敢追太近，于是一路吊在后面慢慢追。
那邊衛文升帶著六萬兵馬剛辛苦趕到許昌，結果收到消息說楊玄感居然已經從他們南邊跑了。
于是衛文升也只得帶著兵馬匯合裴仁基一起追。
一開始，衛文升和裴仁基都不敢確定楊玄感是要去武關，還都一直認為他更有可能是要繞過虎牢，殺到洛陽去。
所以一路上，左截右堵的，結果預料錯誤，倒是讓楊玄感成功的殺入南陽。
這時再要追，已經有些來不及了。
進入南陽盆地，這時候許多叛軍都不愿再跑了。一路上逢郡過郡，逢縣過縣，不攻城不破縣，只知道跑跑跑，為了速度帶的糧食也不多。
一路上叛軍糧食已經吃的差不多了，這幾天都開始減少配給，叛軍大多都吃不飽。
因此到了南陽城下，不少將領就向楊玄感進言，說南陽空虛，又多糧食，攻之易下。南陽是一個大盆地，這里向來是十分富裕之地，說存糧多是沒錯，南陽空虛也沒錯，因為之前衛文升從南陽附近經過，也從這里召走了守城之兵。
還有人跟楊玄感說，過了南陽，再往西進，可就都是險山惡水，到時若是詐不開武關，少不得還得強攻硬打，若是軍中無糧，士兵疲憊，還如何攻城呢？
所以，先趁南陽空虛，咱們攻破南陽，好好的吃頓飽飯，順便搶掠一下，振奮下軍心士氣，咱們然后再去攻武關不遲。
楊玄感左想右想，覺得也確實是這么個理啊，沒糧食還怎么打仗，于是同意。
李密率領后軍，聽說這個消息趕緊來見楊玄感，苦勸說我們之前可是說好的要兵貴神速，要詐開武關，咱們在這里打南陽，那武關不是一下子就知道了咱們來了？還如何騙？再說了，衛文升和裴仁基兩狗日的就一直在后面追著呢，雖然判斷失誤，以為我們會去洛陽，所以跑北面封堵，可如今知道我們要去武關，肯定正全力趕來，咱們這個時候還在這里打南陽，到時他們大軍一到，咱們前不得據關，退無所守，大眾一散，何以自全？
楊玄感聽后覺得這話也很有道理。
但猶猶豫豫半天之后，楊玄感還是決定攻城，“軍不可無糧，無糧則自潰也，且先待我取下南陽，奪城中之糧再說。”
南陽城兵確實不多，但南陽也是一座大城，而且太守還是楊家的宗室。他守起南陽來，比誰都積極，別人城破了還能降楊玄感，他能降嗎？再說了，誰不知道楊玄感要完。
所以他全力組織守城，楊玄感猛攻三日，結果居然沒攻下來。
而這寶貴的三天時間，卻又讓衛文升和裴仁基終于趕到。
一邊是軍已無糧的六萬叛軍，一邊是好不容易追上叛軍正士氣如宏的七萬官軍，兩軍毫不客氣的在南陽城下大戰。
毫無懸念，楊玄感雖猛，可他的六萬兵根本比不過衛文升和裴仁基的七萬官軍，更別說全軍又饑又疲。
一日十戰，十戰十敗。
楊玄感軍潰百里，六萬眾一日散盡，只余十余騎相隨狼狽逃竄，李密李子密等也全都在混戰中潰敗失散！