一高楼，名长庆楼，登楼而望，可见街市。上皇时常临幸此楼，街市过往的人遥望叩拜，上皇有时以御膳余剩之物，命高力士宣赐街市中父者，人都欢忻，共呼万岁。李辅国便乘机借端密奏肃宗道：“上皇居兴庆宫，而高力士日与外人交通，恐其不利于陛下。且兴庆宫与民居逼近，非至尊所宜居。西内深严，当奉迎太上居之，庶可杜绝小人，无有他虞。”肃宗道：“上皇爱兴庆宫，自蜀中归，即退居于此，今无故迁徙，殊佛这圣意，断乎不可。”辅国见肃宗不从其言，乃密启张后，使亦以此言上奏。肃宗恐惊动上皇，也不肯听。张后忿然道：“此妾为陛下计耳，今日不听良言，莫叫后日追悔！”说罢，拂衣而起。肃宗默默含怒，适又偶触风寒，身上不豫，暂罢设朝，只于宫中静养。
辅国途乘此机会，与张后定计，矫旨遣心腹内侍及羽林军士，整备车马，诣兴庆宫奉迎上皇，迁居西内，请即日发驾。上皇错愕不知所谓，内侍奏称皇爷以兴庆宫逼近民居，有亵至尊，故特奉请驾幸西内。皇爷现在西内，候太上驾到。上皇心下惊疑，欲待不行，又恐有他变。高力士奏道：“既皇帝有旨来迎，太上且可一往，俟至彼处，与皇帝面言，或迁或否，再作计议，老奴护驾前去。”上皇无奈，只得匆匆上辇。高力士令军士前导，内侍拥护，銮舆缓缓行动。将至西内，只见李辅国戎服佩剑，率领军士数百人，各执戈矛，排列道旁。上皇在辇上望见，大惊失色。高力士见这光景，勃然怒起，厉声大喝道：“太上皇爷驾幸西内，李辅国戎服引众而来，意欲何为？”辅国蓦被这一喝，不觉丧气，忙俯伏奏道：“奴辈奉旨来迎护车驾。”力士喝道：“既来护驾，可便脱剑扶辇！”辅国只得解下腰间佩剑，与力士一同护辇而行。力士传呼军士们且退，不必随驾。既入西内，至甘露殿，上皇下辇，升殿坐定，问：“皇帝何在？”辅国奏道：“皇爷适间正欲至此迎驾，因触风寒，忽然疾作，不能前来。命奴辈转奏，俟即日稍疾，便来朝见。”上皇道：“皇帝既有恙，不必便来，待痊愈了来罢。”辅国领旨，叩辞而去。上皇叹息，谓高力士道：“今日非高将军有胆，朕几不免。”力士叩头道：“因太上过于惊疑耳，五十年太平天子，谁敢不敬？”上皇摇首道：“此一时，彼一时。”力士道：“今日迁宫之举，还恐是辅国作祟，皇后主张，非皇帝圣意。”上皇道：“兴庆宫是朕所建，于此娱老，颇亦自适。不意忽又徙居此地，茕茕老身，几无宁处，真可为长叹！”上皇说罢，凄然欲泪。后人有诗叹云：
三子冤诛最惨凄，那堪又纳寿王
…。。