张铉在娄烦关以北部署了十万大军，其中尉迟恭率三万人守善阳县，李靖则率七万大军驻扎在雁门郡，李靖虽然率军北上，在紫河干掉了一万接应突厥军，但雁门郡依旧还有两万军队，由罗成率领。
三天前，罗成率领的两万大军便已经抵达了善阳县，和尉迟恭的军队汇合，魏文通夺取了娄烦关后的次日，便立刻向善阳县送了一封鹰信，请求尉迟恭支援。
尉迟恭和罗成天不亮便率领三万大军南下娄烦关，娄烦关距离善阳县并不远，直线距离只有八十里，但如果走官道则稍远一点，约百里左右。
中午时分，三万隋军抵达了东关镇，这里距离突厥军大营只有三十里了，这时，几名骑兵斥候从南面疾奔而来，为首旅帅来到尉迟恭面前，抱拳行礼道：“启禀尉迟将军，娄烦关已经发生了激战，突厥军正大举攻城，投入了数万大军，战事十分惨烈。”
“突厥大营还有多少人？”
“大约一万人左右。”
尉迟恭笑道：“康鞘利显然有点沉不住气了，六万大军居然投入五万人去攻城，完全忘记了要防御羊马城，只有一万人驻守，守得住吗？”
罗成虽然被封为虎贲郎将，但他的军职还是要低于尉迟恭，因此罗成表现得比较低调，他笑了笑道：“康鞘利或许认为我们不会立刻到来，对他而言，只要一天时间便能夺回娄烦关，然后再回头对付我们。”
“罗将军说得有道理，但娄烦关压力太大，我们必须立刻夺取羊马城，助魏将军一臂之力。”
“卑职倒有一个想法。”
罗成对尉迟恭低语几句，尉迟恭连连点头，“这是个好策略，可以节省时间，我们就这样办！”
两人当即兵分两路，尉迟恭率领两万步兵直扑羊马城，而罗成则率一万骑兵迂回绕到了突厥军大营的西面。
留守突厥大营的军队全部由突厥部落的士兵组成，康鞘利不可能让铁勒人来守羊马城，这支大军的主将正是高开道，不过高开道虽然名义上是万夫长，但他并不能服众，一万军队实际上是掌握在十名千夫长手中。
高开道正在羊马城内巡视，这时有骑兵疾奔而来，紧张地禀报道：“将军，巡哨有消息传来，一支两万人的隋军正从北面向羊马城杀来！”
高开道大吃一惊，他立刻意识到这是善阳县的隋军出动了，趁突厥大军前去猛攻娄烦关之时，前来袭击羊马城。
“传令各军准备迎战！”
高开道立刻下达了迎战命令，一万突厥军队纷纷上马，在羊马城外集结，高开道又急忙派人去通报康鞘利，请求康鞘利派兵回援。
突厥大营位于桑干水支流黄水河南岸，突厥大营在西面，而羊马城在东面，呈狭长形部署，绵延二十余里，其中军营和羊马城各占一半，黄水河畔的羊马城和紫河的羊马城一样，也是土木夯制，高约六尺，里面饲养了数百万头牛羊，这便是突厥大军南下的后勤保障，和娄烦关一样，都是康鞘利不惜一切代价要保护的战略资源。
此时，一万突厥骑兵已经顾不得大营，他们迅速在羊马城对岸集结，排列成长长的阵型，高开道还是有一点信心，对方只有两万步兵，而他们虽然只有一万人，但全部是战斗力强大的骑兵，这一战他们至少有六成把握战胜对方。
两万隋军也在两里外停住了脚步，开始迅速列阵，前排是五千弓弩手，后面则是一万五千长矛兵，双方都在等待着出击的命令。
但就在这时，忽