杨广这次南下，要带的人太多了，甚至被贬为庶民的苏威，也要带着。幸好裴蕴、虞世基等人言苏威“老悖且多昏聩之言，恐不能用”，杨广遂罢。
苏威的确已经病重到时日无多了，至少旁人看到的是这样。
不过等杨广的銮驾离开之后，苏威的病竟然好了。
原来苏威之前故意触怒杨广，便是不想跟着杨广南下江都。他早就看出了杨广怕是要大厦将倾，他自不愿随杨广殉葬。
于是苏威便带着孙儿、家人，匆匆离开北邙，投黄明远而去。
此时杨广向东，盗贼已经出现在洛口仓一带。虞世基请求杨广增加援兵，杨广却嗤笑道：“卿是书生，定犹怯也。”
不过杨广还是听从了虞世基的建议。他到达巩县后，命令有关部门将箕山、公路二府移到洛口仓内，并命令修筑城池以备不测。
杨广南下，多有官员阻拦。
杨广到达汜水县（今河南省荥阳市西北汜水镇）后，奉信郎王爱仁又上表请求杨广返回西京长安，杨广杀死王爱仁又继续南行。
杨广到了梁郡，这时梁郡又有人劝阻，并上书杨广道：“天子若遂幸江都，天下非天子之有！”
杨广又把人杀了。
至此，文人士子，再无人心向杨广。