有住宅，寓居在罔极寺中，因疟疾卧床不起，唐玄宗每日派遣使者数十人，前去探病，每遇军国重事，都命黄门监源乾曜去征求他的意见。
后来，唐玄宗采纳源乾曜的建议，命姚崇搬入四方馆居住，并准许他的家属侍疾。
姚崇认为四方馆存有官署文书，不是病人居住之地，极力推辞，唐玄宗道：
"设置四方馆本就是为官员服务，朕安排您住进来，是为国家考虑，如果可能，朕恨不得让您住进宫里，您不要推辞！"
姚崇虽是一代贤相，但却教子无方，其子姚彝、姚异广交宾客，招权纳贿，遭到舆论的非议。
中书主书赵诲接受胡人贿赂，因事情败露，被唐玄宗定为死罪，姚崇也极力营救。
唐玄宗对此非常不悦，在赦免京城罪囚时，特意在敕文中注明，将赵诲流放**。
姚崇为此忧惧不安，数次请辞相位，并推荐广州都督宋璟继任宰相，不久，姚崇被罢去宰相之职，改任开府仪同三司。
《女总裁的全能兵王》
唐玄宗虽将姚崇罢相，但对他仍极为尊崇，让他五日上朝一次，遇到重大政事也专门征询他的意见。
开元八年，唐玄宗封姚崇为太子少保，但他却因病没有接受。
开元九年，姚崇病逝，终年七十二岁，追赠扬州大都督，谥号文献。
开元十七年，唐玄宗又追赠姚崇为太子太保。
唐玄宗即位之初，准备任用姚崇为宰相，姚崇针对时弊，提出十条意见，问玄宗是否同意，同意即可上任，否则只有违抗君命了，这十条意见是：
（1）武后执政以来，以严刑峻法治天下，能否施行仁政；
（2）青海边界已没有反复被扰的灾祸，你能否不再贪图边功；
（3）能否对宠爱的亲信的不法行为严加制裁；
（4）能否不让宦官参政；
（5）能否在租赋之外不收大臣公卿的礼物；
（6）能否不任命亲属出任公职；
（7）能否以严肃的态度和应有的礼节对待大臣；
（8）能否允许大臣们"批逆鳞，犯忌讳"；
（9）能否禁止营造佛寺道观；
（10）能否接受汉朝王莽等乱天下的经验教训而禁止外戚内宠专权。
姚崇的十条意见，区区二百余言，却都是针对他所经历的武则天、中宗和睿宗当政以来的政治弊端而提出，言简意赅，字字珠玑
…。。