再往西去，山林更多，可以设伏的地方更多。一战便损失五千骑兵，有多少兵马可以损失？荆州军这数月以来已经损失够惨的了，还是老老实实的让杨佺期自已退走为好。
当下殷仲堪立刻下令撤兵回襄阳。次日一早，大军掉头撤退。午后时分，兵马急行至山都县境内时，一个如晴天霹雳一般的消息传来，令殷仲堪差点从马背上摔下来。
襄阳被攻克了！守城的长子殷简之被杀了！
这便是杨佺期的冒险之策。他不甘心如此退兵，他知道殷仲堪和桓玄各怀鬼胎，自已一旦退兵，他们之间便可能生出分歧来。所以，他一面传令巴西郡部分兵马驰援汉中，一面分兵万余回军救援汉中郡。
剩下的三万兵马，杨佺期佯装主力撤退，却令堂弟杨尚宝率三千骑兵于半夜时分半路折返向南，半夜时分绕行至襄阳西南。
杨佺期料定他们要乘机追击自已，所以索性将计就计，以诡计诱敌追赶，将敌人吸引的越远越好。
杨佺期的想法是，如果对方追击，襄阳必然空虚，则可乘机取之。但是杨佺期没想到的是，对方像是配合自已一般，桓玄的大军南下，殷仲堪的大军倾巢出动，硬生生给了自已计划成功的机会。
昨日黄昏，当殷遹的骑兵遭受伏击的时候，杨尚宝率领三千骑兵趁着秋水清浅之时，泅渡沔水，发动了对襄阳的奇袭。
襄阳城中并非没有留守兵马，但是人数太少，只有两千兵马。且留守之人乃是殷仲堪的长子殷简之。殷简之是个读书人，对打打杀杀领军作战不感兴趣，甚少过问这些事。和次子殷旷之比起来，殷简之显得愚钝木讷，根本不是领军作战的料。
但殷仲堪希望他能了解这些事情，于是将他带在军中。此番追击，留殷简之守襄阳，也是希望锻炼锻炼他。
殷仲堪做梦也想不到，对方胆大包天，根本没有撤退的想法，而是选择将计就计，反其道而行之。杨佺期知道自已会追赶他，便借着此事行事，派兵马偷袭。
殷简之那里见识过这样的阵仗。得知敌军攻城之时，殷简之惊慌失措，不知如何是好。手下人提醒他上城御敌，他却躲进了襄阳府衙后堂密室之中。城中守军本就人数少，又非精锐之兵，偌大城池也根本守不过来。二更天城池便告破。黎明时分，内城告破，殷简之在密室被活捉。
杨尚宝的手下也是糊涂，见殷简之呆头呆脑的样子，不分青红皂白给了殷简之一刀，将他杀死。
殷仲堪得知殷简之被杀的消息心如刀绞，又悔之莫及。坏消息接踵而至，后方敌军竟然掉头追来，显然他们也得到了襄阳已经被破的消息。
殷仲堪六神无主，殷旷之倒还冷静些，分析情形之后建议即刻往南撤离，不能回襄阳夺城。因为对方主力已经掉头，襄阳也被攻占，若回襄阳，必被堵在襄阳城下。当此之时，莫如南下前往竟陵驻扎，同时请求桓玄相助。
殷仲堪同意了殷旷之的建议，眼下也只能如此了。
十天后，桓玄抵达竟陵，见到殷仲堪的那一刻，桓玄心里乐开了花。殷仲堪像是老了十岁一般，面色晦暗，神情委顿。
“仲堪兄，到底发生什么事了？又叫我来竟陵见面？我大军都要离开了，我也打算回江州了。”桓玄明知故问道。
殷仲堪叹息道：“桓少兄，之前是我的错，我向你致歉。但眼下你可不能走了。襄阳已入杨佺期之手，我兵马损失严重，你若走了，荆州危也。”
桓玄笑道：“可是，之前你可不是这么说的。我桓玄难道可以被人召之即来挥之即去么？”
殷仲堪唉声道：“这种时候，少兄还计较么？要不，老夫给你磕头赔罪吧。”
桓玄大笑道：“那倒也不必了。”