545）重新召回夏言任内阁首辅，就使严嵩处于一个非常尴尬的境地。
据说，有一次为了儿子严世蕃的违法之事，严嵩不得不携着儿子来到夏言的府上，跪在夏言的床边求情。
《明史》的编者清楚地指出，这是世宗察觉了严嵩的骄横，所以虽亲礼严嵩，却也不完全相信严嵩的话，偶而做出一些很专断的决定（例如杀兵部尚书丁汝夔、大将军仇鸾），或偶而不同意严嵩的话，以"杀离其势"。
后来，年老的严嵩渐渐失宠。首先，他再也写不出很精妙的青词来。他的青词多是请别的人代写，所以皇帝总是不满意；其次，他最善于揣摩皇帝心思的儿子严世蕃因为要为母亲欧阳氏守孝，不能跟着严嵩办事，所以严嵩拟的旨也往往不称皇帝之心；再次，万寿宫火灾之后，严嵩竟敢糊里糊涂地劝皇帝暂且住到南宫去。
要知道，南宫是当初景帝幽禁英宗的地方！这让世宗恼火不已。最后，严嵩之败的关键，是因为在皇帝的身边，出现了另外一个精明厉害的人物--徐阶，渐渐与严嵩争宠。
据说，有一次严嵩想借大将军仇鸾之狱来陷害徐阶，却发现徐阶比他更早一步行动了--仇鸾之狱是徐阶先告发的，不由得咄咄称奇。
嘉靖四十一年，道士蓝道行为世宗扶乩（ｊī）。沙盘上出现了一行字："贤不竞用，不肖不退耳！
"世宗问谁是小人。蓝道行说："贤如徐阶、杨博，不肖如嵩。"这件事被一个在太监家避雨的御史邹应龙知道了。
于是，善于投机的邹应龙就上疏攻击严嵩、严世蕃父子。同年五月，严嵩被罢免，严世蕃下狱。
据当时一些人的记载，也有说这件事是徐阶一手布置的。后来，御史林润继续攻击严世蕃，想把当初杨继盛弹劾严氏父子而死的事情当作一件罪状列进去，被徐阶阻止了。
徐阶知道，杨继盛之狱是世宗已经首肯的，翻杨继盛案等于指责皇帝也有过错了。
于是，徐阶捏造了一个莫须有的罪名，说严世蕃结交倭寇。既然是叛国，自然死有余辜了。
这样，严嵩20年的政坛经营，一朝瓦解。继严嵩而起的，是更有心术的徐阶。
不过，朝政方面逐渐改变了过去严嵩当权时的悛（ｑｕāｎ）刻之风，变得相对地宽松起来。
所以，嘉靖最后的5年时间，气象略有些回复。嘉靖四十四年（1565），皇帝病重。
太医徐伟遵诏前往医治。世宗坐在小床上，龙衣拖在地上。徐
…。。