潼关之战前，倘若不是李隆基关键时刻瞎指挥，不但长安丢不了，已经颓态毕露的安史叛军，极有可能提前歇菜。但李隆基却自废武功弄丢长安，带着心爱的贵妃和满朝文武踏上逃亡之路。这才惹得愤怒的卫士们反了天，闹出轰动的“马嵬驿之变”，吓得李隆基不得不赐死杨贵妃来换太平。晚年的孤苦，就此开始，在唐玄宗李隆基被手下的军士逼着杀掉杨贵妃的那一刻，就注定了他的悲惨结局，一个原来的九五之尊，沦落为一只丧家之犬，都连自己的禁卫军都控制不了了，更何况天下。这时候他的儿子也就是后来的唐肃宗连招呼都不打，自立为皇帝，昭示了唐玄宗时代的结束，也代表着唐玄宗被迫成为了太上皇，从此开始他新的生活。
此后不久，唐太子在西北登基，就是唐肃宗，唐玄宗李隆基被尊为太上皇。第二年九月，郭子仪收复长安和洛阳。十月，唐肃宗派人入川迎接太上皇返回长安。《新唐书》中说，太上皇李隆基路过马嵬时，派人到杨贵妃的墓前祭奠，并想为她改葬。但随从的官员担心引起将士们的反感，危及太上皇。李隆基只好秘密派太监准备了棺材，重新安葬杨贵妃。太监们回去之后，交给李隆基一只香囊，是从杨贵妃尸体上解下的，“帝视之，凄感流涕”。刚回长安的时候，他还有自由，可以在自己的宫殿临街的地方看看百姓。百姓看到他欢呼，这让唐肃宗感到不安。好景不长，唐肃宗对唐玄宗一直都很提防,之前还有所顾及，等他坐稳了皇位后，就不满唐玄宗李隆基继续居住在兴庆宫，不仅唆使太监让他搬到了甘霖殿，而且将唐玄宗身边的高力士、玉真公主等人都赶走了，只剩下唐玄宗一个人，孤苦伶仃，忧郁寡欢
怀念的同时，李隆基的心中一定有深深的懊悔——从名义上看，杨贵妃是被他自己赐死的，这恐怕是最让他心碎和心痛的地方。如果自己当时能够硬气一点，如果自己能想出一个变通的方法，拿出某种利益去和将士们交换，是不是就能救下杨贵妃呢？这样的问题一定经常折磨着李隆基，让他痛断肝肠。稍后，李辅国又将李隆基幽闭在西内甘露殿，李隆基一人茕茕独处，形影相吊，身边一个亲信都没有，全换成李辅国派来监视自己的人，凄惨的连块肉都吃不上了，只能独自怀念死去的杨贵妃来抚慰自己寂寥的心。并且，这位曾经叱咤风云的大唐天子，直到死为止，再也没有走出这座宫殿的范围，在凄凉的禁闭生活中度过了他的晚年。宝应元年农历四月五日，李隆基驾崩，终年78岁。
