后大怒，要提李渊到江都治罪，在此危急情势下，李世民说，事情紧急，可以举事了。
[周围的心腹裴寂、许世绪、武士眜等也纷纷劝李渊起兵，李渊终于下定了反隋的决心。
于是李渊借口防备刘武周和突厥南下，派李世民、刘文静、长孙顺德、刘弘基等人到各地募兵，在很短的时间里便招到数千人。
太原副留守王威和高君雅看到李渊招兵买马，怀疑李渊要造反，便密谋骗李渊父子到晋祠祈雨，除掉李氏，向隋炀帝邀功请赏。不料，这一密谋被晋阳乡长刘世龙获悉，告知了李渊。
大业十三年五月十五日，李渊、李世民先发制人，指使开阳府司马刘政会告发王威、高君雅二人暗中勾结突厥，引突厥入寇中原，借此将二人囚禁。
五月十七日，恰巧数万突厥军队进攻晋阳，李渊立刻名正言顺地命人将两人推出斩首。
六月，又遣二子李建成、李世民率军攻杀拒命的西河郡丞高德儒。
同时，李渊又设下空城计，吓退了突厥的军队，接着便开始作起兵反隋的准备工作。