霍光主持朝政前后二十年。地节二年春天病重，宣帝亲自到来问候霍光病况，为他病情流泪哭泣。霍光呈上奏书谢恩说：“希望把我国中之邑分出三千户，封给我侄孙奉车都尉霍山为列侯，来侍奉票骑将军霍去病的庙祀。”皇帝把这事下达给丞相、御史，当天拜霍光的儿子霍禹为右将军。
　　霍光去世了，宣帝和皇太后亲临参加霍光的丧礼。 
　　当初，霍氏奢侈，茂陵徐生说：“霍氏一定得死。人奢侈就不谦虚，不谦虚就一定玷辱皇上；此人也就是背叛天道。他的地位比别人高，大家一定忌妒他。霍氏掌权很久了，忌妒他的人很多了。全部人都忌妒他，而他又背天道而行，不等待死等什么？”于是上疏皇上说：“霍氏宽裕昌盛，皇上您即使想厚待他，应当适时抑制他，不要让他最后到死亡的地步。”上书三次，才听到。
　　后来，霍氏被杀，而告发霍氏的人都被封官。有人为徐生上书说：“我听说有个探望主人的客人，看见他家灶上的烟囱是直的，旁边还堆了些柴火。客人对主人说：“改为弯曲的烟囱，把柴火移走，否则将有火患。主人没理他。不久主人家果真失火，邻居们一起救火，有幸使火熄灭。于是主人杀牛备酒，感谢他的邻居。身上烧伤者在上座，剩下的各按他们的功劳就座，而独独不邀请说改烟囱为弯曲的人。有人对主人说：“假使当初听了那客人的话，不用牛、酒，最终可以使火患没有。如今按功劳而邀请宾客，提出把烟囱改成弯曲的、把柴移走的人没有得到奖赏感谢，却把焦头烂额的人作为上宾吗？”主人于是醒悟而邀请他。今茂陵徐福屡次上书说霍氏会有变化，应当防止杜绝他。假如按福所说的做，那么国家不用分割土地出卖官爵，大臣死，叛乱等事都不会发生。往事既然已经发生，唯独徐福一人没有蒙受皇恩。希望皇上明察——重视徙薪曲突的方法，把它放在焦发灼烂之人的上面。”皇上于是赏福帛十匹，之后任他为郎。
　　宣帝刚被立为皇上时，到高庙祭祀，大将军霍光以骖乘的身份跟从，皇上心里害怕他，像背上长了芒刺一样。后来车骑将军张安世代替光任了骖乘，天子才能从容地面对，感觉安全在身旁。一直到光死去。而他一族之人竟然全部被杀。因此民间流传说：“威严震主的人不能活。霍氏的祸，是从骖乘开始的。”