不过黄明远所部到达蒿泽之后，坚守营中，并不主动出战。而杨谅本就对黄明远心生畏惧，就更不敢出战。
蒿泽乃是春秋战国时期的昭余祁，也叫大昭泽。此地是为晋中盆地最低处，又值秋末冬初，水汽弥漫，因此在这时节，蒿泽附近多有大雨。
黄明远抵达蒿泽当日，便天降大雨。此雨忽然下个不停，道路淤烂，天气骤变，双方皆是难以一战。
此时的杨谅眼看大雨不止，天气变冷，他实在难耐，又加上对黄明远的畏惧，便有了退兵之意，准备退到清源县（今山西清徐县）再于隋军一战。
王頍劝谏说：“黄明远孤军深入我方阵地，人困马乏，大王率领精锐部队，亲自出击，一定取得胜利。而今见到敌人就要退走，显示我们胆怯，使军心沮丧，更增加对方军队的气焰，大王千万不可回军。”
王頍字字珠玑，句句泣血，可惜杨谅却不愿意听从。
九月二十五日，天仍下着大雨，杨谅下令全军拔营北上，返回并州。