唐肃宗李亨即位后，唐玄宗退位为太上皇，居住在兴庆宫，身边只有高力士等心腹随侍。公元760年，宦官李辅国为固恩宠，上奏唐肃宗高力士等人谋划不利之事。同年七月，李辅国乘肃宗患病之机，强行把李隆基迁居西内。在途经夹城时，李隆基被惊吓差点坠马，幸亏高力士挺身而出。不久，李辅国再次诬蔑高力士“潜通逆党”，将其流放于巫州。公元762年，高力士遇大赦回归到郎州附近，听闻玄宗已驾崩而悲伤不已，最终吐血身亡。
后来，唐代宗李豫念高力士护卫先帝有功，追赠其为扬州大都督，陪葬于泰陵。
