王威、高俊雅两人通番卖国使得原本跟随他们身后的将领纷纷倒戈相向，李靖控制晋阳军局势变得异常简单。之前与他们两人同流合污的将领，纷纷被李靖斩首。于是，晋阳军再次被李渊控制在手中，手中兵权在握，李渊的底气十足。
远在汾阳宫的刘武周听闻下属探查而来的情报，得知突厥大军不战而退，吓得他胆颤心惊，急忙退出汾阳宫，返回马邑。而且，与他同谋的王威、高俊雅被李渊斩于晋阳城门口，使得刘武周想要夺取晋阳城的愿望被一盆凉水浇灭。
刘武周退守马邑，自封为太守，明面上保护城中的百姓，才加强士兵防守，实际上是以防李渊派兵前来征讨，全城戒备，三步一岗五步一哨的换防，众多士兵都纷纷猜测太守刘武周到底想干什么。可是，他们身份低下，不敢直言不讳的问明。刘武周明面上说的比较好，让他们也知道刘武周加强防守没有错。
刘武周加强防守，实际上是杞人忧天。现在的李渊忙得不可开交，之前吓退了突厥的军队，给他留下了足够的时间用来准备，加上刘武周心生胆怯撤离汾阳宫，回返马邑，使得李渊准备工作已经完全做好了，一切准备就绪。
大业十四年农历七月，李渊率领三万余名士兵誓师，正式起兵！