後元二年，即公元前141年，漢景帝駕崩，十六歲的太子劉徹繼位，是為漢武帝。由於漢文帝和漢景帝秉承西漢初期休養生息的政策，到了劉徹登基稱帝，大漢王朝正處於鼎盛時期。史載，“京師之錢累鉅萬，貫朽而不可校。太倉之粟陳陳相因，充溢露積於外，至腐敗不可食。眾庶街巷有馬，阡陌之間成群，而乘字牝者儐而不得聚會。”國力既已充足，那麼北伐匈奴也該提上日程了。
公元前129年，為了打擊匈奴的不斷進犯，漢武帝決定兵分四路出擊：車騎將軍衛青從上谷進軍；輕兵將軍公孫賀從雲中出師；騎將軍公孫敖從代郡出兵；驍騎將軍李廣從雁門進軍。四位將軍麾下均配備了1萬名最精銳的騎兵。
面對四路漢軍，匈奴人下意識地選擇名將李廣所部作為重點打擊物件。匈奴兵多，李廣所部奮戰良久終遭全軍覆沒，其本人亦被生擒。誰知，正當匈奴人歡天喜地地慶祝勝利的時候，自己的祭天聖地龍城卻被那位貌似無能的外戚衛青掃蕩了。訊息傳來，漢武帝很高興，一下子沖淡了其他三路失利的鬱悶心情。元朔元年，也就是衛青得勝歸來的次年，衛青的姐姐衛子夫因誕下嫡長子劉據有功，被正式冊封為皇后，武帝對衛青的信任也達到了頂峰，衛青成為了漢帝國最耀眼的軍事新星。而他也不負武帝所望，先是率兵收復了自秦末就失陷的河南地，隨後又出塞六七百里攻破了匈奴右賢王所部。
匈奴畢竟是百足之蟲，漢軍三番二次的攻擊並未動搖匈奴的根基。就在衛青攻破右賢王的次年，匈奴人再次出兵萬騎襲擊了漢朝邊境。武帝發了狠，於次年調集了十餘萬漢軍精銳交給衛青，讓其反擊匈奴。可這次，衛青卻遭遇了前所未遇的挫折：3000餘漢兵幾乎被匈奴單于全殲，右將軍蘇建隻身逃脫，前將軍趙信投降了匈奴。趙信久在漢廷，深知漢軍依賴輜重的弱點，遂就勢建議單于將王庭撤離陰山地區，徙居漠北，以誘疲漢兵。這，無疑給漢朝再次打擊匈奴主力帶來了極大的難度。不過，漢朝這次作戰也並非毫無所得，至少獲得了一員勇於深入作戰的年輕將軍，他就是霍去病，衛青的親外甥。史載，驃姚校尉霍去病在這場大戰中，獨領800騎深入草原，竟斬獲2000餘敵，其中就包括匈奴單于的祖父。透過這次作戰，漢武帝看到了霍去病獨特的作戰風格：擅長指揮騎兵大範圍流動作戰且能準確地找到敵人並進行斬首行動。如此人才，正好在接下來的作戰中派上用場。
前文已述，匈奴單于為躲避漢軍的打擊，將王廷遷徙到了漠北，大漠以南的廣大地區就剩下了匈奴的左賢王以及河西走廊的渾邪、休屠二王。漢武帝即位之初，曾有一個聯合月氏夾擊匈奴的宏大計劃。為此，他曾派特使張騫前往聯絡。張騫回國後，雖然帶來了月氏人不願與匈奴為敵的西資訊，但卻告訴了武帝有關於西域的真實情況。這讓漢武帝覺得，即使不用月氏也可以聯絡西域的其他強國孤立匈奴，完成“斷匈奴右臂”的戰略。由於當時漢廷對河西的地理和敵情瞭解不多，所以武帝只派了萬騎出徵，打算為日後大規模出兵進行偵察和試探，這支軍隊的統帥即是上次因功獲封冠軍侯的霍去病。
公元前121年春，霍去病率萬餘騎兵進軍河西走廊，開始了指揮大兵團作戰的軍事生涯。為了避開羌人和匈奴的耳目，霍去病帶兵出隴西后，在今天的蘭州以西渡河，後沿著烏鞘嶺北坡的草地而行。在渡過石羊河後，漢軍在霍去病的指揮下賓士了六天，順利掃蕩了隸屬匈奴的五個小部落王國。隨後，漢軍翻過焉支山又向前賓士了千餘里，先後斬殺匈奴盧胡王、折蘭王在內的9000餘敵軍，渾邪王和休屠王抵擋不住，紛紛率部遁走。初戰告捷，給了漢武帝很大的鼓舞。他決心乘匈奴驚魂未定，給其致命的一擊。
同年夏天，武帝再次發兵進軍河西走廊。霍去病作為北路的指揮官，負責側後迂迴包抄。霍去病所部的騎兵都是經過嚴挑細選的精騎，毫無響動地完成迂迴包抄不在話下。可正面牽制敵軍的公孫敖部卻迷了路，未能到達指定地點。在這種情況下，霍去病當機立斷，毅然指揮部隊對匈奴軍發動了突然攻擊，一戰斬殺了3。2萬匈奴戰士，迫降了渾邪王，一舉拿下了河西走廊。從此，自金城（今蘭州）、河西至鹽澤（今羅布泊）再無匈奴騎兵的蹤跡。
渾邪王歸降後，匈奴單于不甘失敗，仍發兵頻繁侵入漢朝邊境燒殺擄掠。鑑於單于本部仍具相當實力並嚴重威脅漢朝的北部邊疆安全，考慮到漢軍經過多年錘鍊已經具備了遠端奔襲的，漢武帝決定趁熱打鐵，攜河西之戰的勝利發動一場前所未有的攻勢。這場戰爭，漢武帝極其重視，除了衛青和霍去病各自統帥的五萬騎兵，朝廷還徵調了數十萬步兵以及十四萬匹軍馬跟進，可謂是“傾國遠征，志在平虜”。漢武帝原計劃由霍去病對付匈奴單于，可隨後從捕獲的匈奴人口中得知，單于所部位於代郡以東，遂改變計劃，讓大將軍衛青出定襄，而讓霍去病出代郡。可惜霍去病並未遭遇匈奴單于，沒能上演一場精彩絕倫的騎兵大決戰，那位桀驁不馴的匈奴單于最終被大將軍衛青擊敗，僅率幾百殘兵落荒而逃。
即使如此，霍去病的戰績也絲毫不遜衛青。史料記載霍去病出代郡後行軍2000餘里，達到了漢民族所能深入草原的極限。統計共斬敵七萬餘人，幾乎摧毀了左賢王所部。戰後，為了紀念戰功，霍去病登上狼居胥山舉行了祭天封禮，然後刻石記功，這才凱旋還朝。還朝後，因霍去病的戰功較之衛青完整，故而武帝加封他和衛青一樣為大司馬，此時霍去病才22歲。據說匈奴戰敗後，趙信曾勸匈奴單于與漢朝講和，但隨後卻扣押了漢朝派來的使者。漢武帝大怒，又準備調集軍隊出塞作戰，但這時霍去病已經去世了，找不到合適的帶兵將領，戰爭只好作罷。
關於霍去病之死的說法不一，有一則史料這麼記載：“匈奴聞漢軍來，使巫埋羊牛，於漢軍所出諸道及水源上，以阻漢軍。”因此，史學家推測霍去病極有可能在轉戰的途中誤飲了被疫馬和疫畜汙染的水源，成為了匈奴生物戰的受害者。對霍去病的早逝，漢武帝深為悲痛，為了表彰他的卓越功勳，武帝特地為其舉行了隆重的葬禮。下葬那天，武帝徵發了霍去病曾招降的沿邊五屬國的匈奴移民，讓他們身穿黑甲一直送到茂陵。在那裡，有漢武帝專門為霍去病設計的墓地：一座巍峨雄偉、形狀如同祁連山一樣的墳墓，墓前高大的石碑刻著十六個大字“漢驃騎將軍大司馬冠軍侯霍公去病墓”。
