汉武帝皇后卫子夫及大司马大将军卫青的外甥，大司马大将军霍光的同父异母兄长。
霍去病十八岁时为剽姚校尉，率领八百骑兵深入大漠，两度功冠全军，封爵冠军侯。
元狩二年（前121年），二十岁的霍去病升任骠骑将军，指挥两次河西之战，俘匈奴祭天金人，直取祁连山，总计歼灭和招降河西匈奴近十万人，沉重打击了匈奴右部。
汉武帝分徙匈奴降众于边塞之外，因其故俗置五属国，又在其故地先后设立河西四郡，由此沟通了自内地与西域的直接交往，对西汉和匈奴势力的消长发生显著的影响。
元狩四年（前119年），霍去病与卫青率军深入漠北，于漠北之战中消灭匈奴左贤王部主力七万余人，追击匈奴军直至狼居胥山与姑衍山，分祭天地，临翰海而还。
此战使
“匈奴远遁，漠南无王庭”。战后加拜大司马骠骑将军，与卫青同掌军政大权。
元狩六年（前117年），霍去病病逝，年仅二十四岁。汉武帝赐谥号
“景桓”，令他陪葬于茂陵，并仿照祁连山的形状为其修筑坟墓。霍去病用兵灵活，注重方略，不拘古法，善于长途奔袭、快速突袭和大迂回、大穿插、歼灭战，为汉武帝时期的军事扩张作出重大贡献。
他前后六次出击匈奴，与卫青等人合作，解除了匈奴对汉王朝的威胁。
河西之战元狩二年（前121年），武帝任命二十岁的霍去病为骠骑将军。
于春、夏两次率兵出击占据河西（今河西走廊及湟水流域）地区东部的浑邪王、休屠王部。
在春季攻势中，霍去病率一万骠骑出陇西，
“逾乌盭，讨遬濮，涉狐奴”，转战河西五国，辎重多，人马众，对降服者予以宽赦，与单于的儿子交战，几乎将其生擒。
再越过焉支山，转战六天，急行军一千多里，最终在皋兰山下（今兰州南部）与匈奴军激战，重创匈奴，杀死匈奴折兰王、卢侯王，歼灭其精锐，浑邪王子及相国、都尉等全部被俘。
此役，汉军共斩首八千九百六十级，并俘获了休屠王的祭天金人，自身亦颇有折损。
战后，霍去病因功加封食邑二千二百户。在同年夏季的攻势中，霍去病与合骑侯公孙敖从北地郡（今甘肃环县）率军分路进军。
公孙敖迷路迟到，未能与霍去病会和。霍去病孤军深入，远涉浚稽山南的湖泽，越过居延海，过小月氏，攻抵祁连山，俘获得单于单桓、酋涂王，收降其相国、都尉以下的降者二千五百人。
在此役中，汉军共斩得匈奴军首级三万二百级，生擒匈奴五王，五王母，匈奴单于的阏氏及王子五十九人，相国、将军、当户、都尉六十三人，让匈奴的实力受到一次极大的打击，而汉军自身折损约十分之三。
武帝得到捷报后，加封霍去病食邑五千四百户。而跟随霍去病出征至小月氏的校尉都被封为左庶长，其部下赵破奴、高不识及仆朋均被封侯。
霍去病率五万骑兵，以将军李敢等为大校，出代郡、右北平郡，北进两千多里，越过离侯山，渡过弓闾河，与匈奴左贤王部接战，大破匈奴军，俘虏匈奴屯头王、韩王等三人及将军、相国、当户、都尉等八十三人。
霍去病乘胜追杀至狼居胥山，在狼居胥山举行了祭天封礼，在姑衍山举行了祭地禅礼，兵锋一直逼至北海。
此役，汉军斩首七万四百四十三级，自身也损伤十分之三。经此一战，匈奴被汉军在漠南荡涤，匈奴单于逃到漠北，
“匈奴远遁，而漠南无王庭”，匈奴势力大为衰退。此战后，匈奴失去对东北地区的控制。
霍去病将东北的乌桓徙居于上谷、渔阳、右北平、辽西、辽东五郡塞外，为汉侦察匈奴动静。
汉朝要求其部落大人每年朝见，并置护乌桓校尉，使乌桓不得与匈奴交通。
汉军回师后，武帝为表彰霍去病的功劳，再增封其食邑五千八百户。霍去病属下的将卒也获得了大量的赏赐，随他出征的右北平太守路博德、北地都尉邢山、复陆支及伊即靬都分别获封侯爵，李敢也一举获封关内侯。
同时，武帝设置大司马位，以大将军卫青、骠骑将军霍去病为大司马。
同时定下法令，使骠骑将军的俸禄同大将军相等。从此以后卫青的权势逐渐减退，而霍去病日趋显贵。
卫青的老友和门客多半离开了他，而去奉事霍去病，这些人常常因此而得到官爵。
传闻酒泉因他得名，冠军二字因他而有，他是所有匈奴人的噩梦英年早逝元狩六年（前117年），因为匈奴伊稚斜单于拒绝对汉称臣，汉武帝再一次进行战争动员，决心歼灭单于主力。
然而在准备过程中，或许是多次领兵出征的劳累，长时间处于艰苦的环境，霍去病却因病早逝，年仅二十四岁。
汉武帝因此被迫暂时停止了对匈奴的作战。连环画中的霍去病霍去病死后，武帝允许他陪葬茂陵，赐其谥号为
“景桓”。武帝对霍去病的死非常悲伤。他特意调遣河西五郡的铁甲军，列成阵沿长安一直排到茂陵东的霍去病墓。
他还下令将霍去病的坟墓修成祁连山的模样，彰显他力克匈奴的奇功。
唐朝建中三年（782年），唐德宗追封古代名将六十四人，为他们设庙享奠，当中就包括
“大司马冠军侯霍去病”。及至宋代政和三年（1113年），宋徽宗将霍去病与丞相公孙弘、大将军卫青、车骑将军金日磾配享于汉武帝庙廷。
宣和五年（1123年），宋室依照唐代惯例，为古代名将设庙，七十二位名将中亦包括霍去病。