了保证安北城百姓的安全，斛律晟下令将安北城除了军队的三万多人送回九原。这些人多是安北都护府官兵的家眷和北来安北城的商人。
众人此次南下，只能挥泪作别丈夫、儿子、父亲。
大业九年三月，也就是浑部南下之时，大隋与突厥人再次在意辛山北发生战斗，这是大业八年以来最大的一场战斗。
为了牵制隋军，方便围剿浑部，始毕可汗亲督三万骑南下，驻扎在意辛山北。
斛律晟也不势弱，亲自率领精兵五千驻扎在意辛山上，双方山上、山下对峙。
突厥人屡屡挑战，斛律晟命各军坚守不出，消耗对方的士气。
双方相持一月有余，各不相让。斛律晟乃命大将严孝武率领一千骑兵，换上突厥人的衣服，分作前后两队，趁夜偷袭突厥人的大营。
在距离敌军五里时，严孝武命前队大声呼喊，后队击鼓响应。突厥军以为隋军主力赶到，心中大惊。始毕可汗本就对隋军胆怯，此时也满是畏惧，命令各部撤退。
突厥人慌忙北逃，惊恐之中，自相残杀，死伤惨重。
而斛律晟本人带领数千骑兵，从侧翼追击突厥人，大破其部，斩首愈四千骑。
意辛山一战，突厥人大败，始毕可汗遭到当头棒喝，其骄纵的势头也为之一挫。突厥人内部感受到隋军实力的强大，也不敢再盲目的擅自寻衅，贸然南下。
斛律晟大破突厥，让杨广为之一震。杨广对于始毕可汗的屡屡侵犯也是不满，他自以为此次大捷能够让始毕可汗清醒过来。
战后斛律晟被进为正三品金紫光禄大夫，严孝武和孙辞煦也被进为正四品朝请大夫。
意辛山一战虽然大大涨了隋军的士气，挫了突厥人的势头，但双方的实力相差极大，安北城被突厥人威胁的大局仍无法改变。
大业九年七月，突厥人卷土重来。隋军虽然顽强抵抗，再次击败了突厥人的进犯，但也损失不少。
无论是南面的丰州总管府还是安北都护府，这几年因为战争的减少，从朝廷获得的支持大大减少。而对付新崛起的始毕可汗，若是想不靠中央的实力，单凭一州一郡便能得胜，是不可能的。
黄明远虽然远在辽东，鞭长莫及，但对安北都护府的局势也忧心忡忡。安北都护府打一万场胜仗也灭不了东突厥，但若是败了一场，则是灭顶之灾，仗不是这么打的。
于是黄明远上书杨广，请求将安北都护府的官兵内撤入阴山以南。
安北城是个钉子，也是大隋在草原宣扬统治力的见证，是杨广“天可汗”的脸面。杨广本是极不愿意放弃这里的。
但杨广也知晓突厥人的进逼之势。安北城孤悬塞外，一旦被突厥人攻破，隋军丢的脸更大，还不如主动放弃。
大业九年十月，斛律晟率领七千安北都护府官兵撤入丰州。至此，大隋经营十年之久的安北城正式放弃，大隋与突厥的边境再次回到了阴山一线。