元狩六年（前117年），因为匈奴伊稚斜单于拒绝对汉称臣，汉武帝再一次进行战争动员，决心歼灭单于主力。然而在准备过程中，或许是多次领兵出征的劳累，长时间处于艰苦的环境，霍去病却因病早逝，年仅二十四岁。汉武帝因此被迫暂时停止了对匈奴的作战。
霍去病死后，武帝允许他陪葬茂陵，赐其谥号为“景桓”（取义“武与广地”，彰显其克敌服远，英勇作战，扩充疆土之意）。武帝对霍去病的死非常悲伤。他特意调遣河西五郡的铁甲军，列成阵沿长安一直排到茂陵东的霍去病墓。他还下令将霍去病的坟墓修成祁连山的模样，彰显他力克匈奴的奇功。
唐朝建中三年（782年），礼仪使颜真卿向唐德宗建议，追封古代名将六十四人，并为他们设庙享奠，当中就包括“大司马冠军侯霍去病”。及至宋代政和三年（1113年），宋徽宗将霍去病与丞相公孙弘、大将军卫青、车骑将军金日磾配享于汉武帝庙廷。宣和五年（1123年），宋室依照唐代惯例，为古代名将设庙，七十二位名将中亦包括霍去病。在北宋年间成书的《十七史百将传》中，霍去病亦位列其中。
