李渊父子决议起兵后不久，由伪造的皇上敕书，贴满了大街小巷和各大路口。太原城里立时像开了锅，人心惶惶，群情汹汹。
而在此时，在太原留守署衙内，留守李渊和副留守王威、高君雅却正在商议着另一件大事。
“刘武周在马邑举旗造反，北联突厥，攻城略地。目下已攻下雁门、楼烦等郡城，且以美女金银贿赂突厥。贼势凶悍，兵强马壮。我等受命镇守太原，却不能歼灭反贼，制止动乱，罪当灭族，你们看该怎么办才好？”李渊满面忧戚，问王、高二人道。
王威、高君雅亦深感忧惧，却不知计将安出，便请李渊早拿主意。
李渊道：“自古兵来将挡，水来土掩。但朝廷用兵，一行一动皆受兵部节度。如今贼兵在数百里之内，而皇上却在数千里之外的江都，再加上道路险阻，沿途又有各地反贼扼守，如何请旨调兵？只以太原城里这点兵马，去抵挡刘武周与突厥人的磅礴之势，莫说消灭贼众，就是自我保全都很难，如今进退维谷，我也无可奈何。”
王威亦感到形势危急，事态严重，焦急地说：“唐公既是国之栋梁，又是皇室近亲，与国家社稷共休戚。如今时势紧急，若等奏报朝廷，必贻误军机。自古将在外，君命有所不受。要想平息叛乱，在此非常时期，唐公完全可以独断。”
“既然二位将军同意，为今之计，必须尽快招募兵马，准备与刘武周决战于太原城下。”
于是，李渊下令在太原及附近各郡征集士卒，招兵买马。四方百姓，已对朝廷恨入骨髓，更怕被掳去东征高丽。既要当兵，何不投到唐公麾下？于是纷至沓来，踊跃应征，连各处山林中的起事豪勇，也闻风来投奔。不过十几天的时间，便募集兵马五六万之多。王威、高君雅毕竟是隋炀帝派来暗中监视李渊的，这些日子见应募者如潮涌般而来，李渊又将这些兵勇让长孙顺德、刘弘基分别统率，便疑窦丛生。另外，刘文静乃是朝廷钦犯，竟被李渊背着他们私自释放，因而更加狐疑。随着时间的推移，王、高二人已经察觉李氏父子密谋起义的事，于是两人暗中策划了一场晋祠祈雨大会，想哄骗李渊前来，将他杀害。一天夜里，王威和高君雅来到武士彟的住处，神秘地说：“长孙顺德和刘弘基为逃避辽东之役，隐匿太原，所犯皆为死罪。而唐公却让他们手握重兵，依为干城，真不知出于何意？对此二人，我等欲借祈雨大会的时机再对他们捕拿，你看如何？”
王、高二人几年来与武士彟过从甚密，以为是可以推心置腹的生死之交。武士彟听了二人的话，便笑着劝道：“这些人都是唐公的客人，若是那样做，岂不惹翻了唐公，引出大麻烦来？”王、高二人一听话不投机，虽然心中疑虑，也只好作罢。
第二天一早，武士彟便将两个人的话告诉了李渊。李渊苦笑道：“如今已是箭在弦上，不得不发。二贼既已窥破端倪，自来找死，就怪不得我李渊心狠手辣了。”
到了祈雨的那一天，李渊来到晋祠与王、高会见，这时长孙顺德、刘弘基等人在殿廷之内俟机待发，而李世民又伏兵晋阳城外，严密封锁，以备不测。在祈雨会上，李渊正和王威、高士雅说着话，忽然听到大堂外一片声嚷叫，随即，刘文静带领刘政会急步闯进大堂。
刘政会大声说：“唐公，我听说有人欲反叛朝廷，所以特意持密状奏禀。”
李渊示意王威去接密状，不料刘政会却说：“我所告的正是这两个副留守的反情，这密状只有唐公能看。”
李渊接过密状，匆匆看了一遍，盯着王、高二人说：“好啊，汝二人原来早有反心，居然暗中勾结突厥，里应外合，想要居中取事。”
一听此话，高君雅猛地从座椅上跳了起来，尖声喊道：“贼喊捉贼！这是谋反者欲杀我等！”
李渊却不听他乱喊乱叫，喝道：“来人，将这两个乱臣贼子拿下，送入大牢候审。”
王、高二人怎肯束手就擒，不料长孙顺德带着数十名兵士，各持明晃晃的刀剑，众人一拥而上，将高、王二人推推搡搡送往大狱。就在李渊将王威、高君雅以勾结突厥的罪名逮捕下狱的第二天，竟真的有数万名突厥兵马，风驰电掣一般来到太原，恰像是如约而至一般。太原城里虽然有新募兵丁五六万人，但多未经训练，更缺乏攻城守阵的实践经验，上上下下不免大为慌乱。
李渊急召众人商议对策，李世民说：“突厥人突兀而至，志在寇掠财物牲畜，并无攻城占地之心。我们一方面将军队严密部署在各街巷，严阵以待；另一方面洞开四门，敌军不辨虚实，必不敢贸然入城。纵使入城，地理不熟，方位不明，我城中军民与敌人短兵相接，展开巷战，必能大获全胜。”
李渊认为世民所言有理，随即下令大开城门。突厥兵马风卷而来，却见太原城各门洞开，城中偃旗息鼓，寂无声息，竟如一座空城一般，不知李渊用的是什么计，迟疑徘徊了许久，终不敢进城，又从东门悄悄退了出去。这样一来，城中军民都认为突厥人果然是王、高二人密谋引来的，皆咬牙切齿，必欲杀此二人。李渊见民心可用，决计抓住这一天赐良机，杀贼祭旗，乘势起兵。
五月甲子日，晨光熹微。平日空空荡荡的太原大校场，突然变得嘈杂喧闹起来，旌旗飞扬，人喊马嘶。一队队年轻兵士，自四面八方赶赴校场，在场内东、西、南列成了3支大方队，人人昂首挺胸，肃然而立。
太原城的百姓们似乎早就得到了消息，一大早便扶老携幼拥进了校场，抬头看看校场中央高高飘扬的书写着“李”字的那面大旗，禁不住想起了“李姓之人当有天下”的那则传闻，一个个交头接耳，议论纷纷。随着一阵急骤的马蹄声，太原留守唐公李渊，银盔铁甲，身披一袭猩红色战袍，带领十几骑人马，威风凛凛地急速驰入校场。来到正北点将台处腾身下马，左有李建成、李世民、李元吉、柴绍，右有裴寂、刘文静、刘弘基、长孙顺德，前呼后拥登上了点将台。场内军民不下十余万人，在这一刻突然同时瞪大了眼睛，屏住了呼吸，一切喧嚷声戛然而止，空气就像凝滞了一般。
李渊跨前数步，双手抱拳于胸，以洪钟般的嗓音高声喊道：“当今天子无道，盗贼蜂起，民不聊生。我李渊为拯救万民于水火之中，决定即日起兵，拥戴王杨侑为新帝。从今日起，各郡县均宜改旗易帜，杂用绛白之色。”
话音刚落，校场里立时响起雷鸣般的欢呼之声。
这时候，便听晋阳宫副监裴寂喊道：“将密通突厥的乱臣贼子王威、高君雅拖出来，杀贼祭旗开始！”这就是著名的晋阳兵变。
