有曲泽部助战，但孤军深入的杨昊势必不能持久，最后的胜利还是属于朔方的，

反对的一方以安乐州刺史胡坯为首，他们都是朔方的世袭贵族大家，所有的利益都在灵武，一旦开战，不管胜负，他们都是输家，他们他们竭力奔走呼号，给王崇安施加压力，

谢搏之本來是站在主和派一方的，但当他察觉唐氏有意在灵武与杨昊开战，以此削弱反对派力量时，他立即转变立场，投入主战派一边，而王崇安也希望在灵武打上一丈，胜了是自己的政绩，败了也可削弱胡坯等世家大族的势力，同时也可借机削夺王东川、楼鹤颜等人的兵权，

主战派一方顿时占了上风，朔方前军主力向灵武集结，王崇安同时与连庸结成联盟，出钱出粮怂恿连庸出兵攻打小长安，牵制杨昊调飞虎营助战，同时也阻绝河东豹营和破虏营西进的可能，

就在灵武上空战云密布之机，灵州城内突然谣言四起，有人指责副将王崇纯在城破前临阵脱逃，王崇纯逃出乌海城后沒敢直接回灵州，而是躲在灵武妻子家中，直到王崇安答应不再追究其临阵脱逃之罪后，这才还回灵武，

王崇纯为了自保撒谎说自己是在楼船也下令弃城后才退出乌海城的，王崇安和好，也深得唐氏喜爱，为了保王崇纯，唐氏下令将楼船也革职拿办，欲将乌海城战败之责算到他的头上，楼船也是楼鹤颜幼弟，也是胡师德亲信，楼鹤颜、胡师德也因此受到牵连，二人同时向王崇安请辞，王崇安本來要用二人抵消王东川在军中的影响，自然不允，

唐氏责王崇安偏听偏信，不肯保王崇纯，王崇安知道唐氏能让自己能坐上留后的位子，也能让自己从位子上下來，因此只得违心地同意楼鹤颜、胡师德辞去军中各职，出于对王东川的不信任，唐氏和王崇安只得打消抗战的念头，转而寻求议和，

其实那些关于王崇纯、楼船也的谣言都是杨昊让关索放出去的，他就是利用朔方内部各派间的嫌隙制造矛盾，最终让形势发生有利于己方的转变，

朔方安乐州刺史胡坯前往安静见杨昊要求议和，杨昊问胡坯：“楼鹤颜、胡师德皆已去职，朔方还有什么人能挡我，灵武唾手可得，我为何要跟你们议和。”

胡坯道：“乌海城一战，牙军虽然败于将军之手，但朔方主力前军尚存，王公东川将军乃当世名将，想必将军也听过他的威名，朔方前军拥众两万，兵精粮足，据险而守，将军莫不也想一天一夜就能破城，别的不说，将军远道而來，粮草还能支撑几日，回鹘、契丹、室韦知将军不在丰州，知将军实力大