也不罪他。只是愈为太子所忌，遂与张衡、宇文述等商议，问他：“有何妙计，除却此人？我的东宫安稳。你们富贵可保。”宇文述道：“太子若早说要处李渊，可把他嵌在两个庶人党中，少不得一个族灭。如今圣上久知他忠直，一时恐动摇他不得。”张衡道：“这却何难！主上素性猜嫌，尝梦洪水淹没都城，心中不悦。前日成阝公李浑之子洪儿，圣上疑他名应留谶，暗叫他自行杀害。今日下官学北齐祖(王廷)斛律光故事，布散谣言：浑渊都从水傍，能不动疑？恐难免破家杀身之害。”太子点头称妙。
谋奸险似蜮，暗里欲飞沙。世乱忠贞厄，无端履祸芽。
张衡出来暗布流言。起初是乡村乱说，后来街市喧传；先止是小儿胡言，渐至大人传播，都道：“桃李子，有天下。”又道是：“杨氏灭，李氏兴。”街坊上不知是那里起的，巡捕官禁约不住，渐渐的传入禁中。晋王故意启奏道：“里巷妖言不祥，乞行禁止。”隋主听了，甚是不悦。连李渊也担了一身干系，坐立不安。但隋主已是先有疑在心了，只思量那李浑身上。
其时，朝中有那诬陷人的小人、中郎将裴仁基上前道：“成阝公李浑，名应图谶。近因陛下赐死其子，心怀怨恨，图谋不轨。”圣旨发将下来勘问，自有一班附和的人，可怜把成阝公李浑强做了谋逆，一门三十二口，尽付市曹。
诚心修德可祈天，信谶淫刑总枉然。
晋鸩牛金秦御虏，山河谁解暗中迁。
李渊却因此略放了心。那张衡用计更狠，又贿赂一个隋主听信的方士安伽陀，道李氏当为天子，劝隋主尽杀天下姓李的。亏得尚书右丞高颎奏道：“这谣言有无关系的，有有关系的，有真的，有假的。无关系的，天将雨商羊起舞是了；有关系的，保弧箕服实亡周国是了。有真的，楚虽三户亡秦必楚，后来楚霸王杲亡了秦是了；有假的，高山不推自倒，明月不扶自上，祖(王廷)伪造害了斛律光，遂至亡国是了。更有信谗言的秦始皇，亡秦者胡，不知却是胡亥。晋宣帝牛易马，却是小吏牛与琅阝琊王妃子私通生元帝。天道隐微，难以意测。且要挽回天意，只在修德，不在用刑，反致人心动摇。圣上有疑，将一应姓李的，不得在朝，不得管兵用事便了。”
此时蒲山公子李密，位为千牛。隋主道他有反相，心也疑他。他却与杨素交厚，杨素要保全李密，遂赞高颎之言，暗令李密辞了官。其时在朝姓李的，多有乞归田的，乞辞兵柄的。李渊也趁这个势乞归太原养病。圣旨准行，还令他为太原府通守，节制西京
…。。