公元前127年，以车骑将军领兵，从云中(大致在今内蒙古土默特右旗以东)出发，向西攻打匈奴，直到高阙(今内蒙古杭锦后旗)，就这样攻取了河南地区(河套以南之地)，直到陇西(甘肃省东南部)，捕获敌人几千名，缴获牲畜十万头，打跑了匈奴白羊王和楼烦王。汉武帝就此建立了朔方郡，划定三千八百户封卫青为长平侯。部下苏建为平陵侯、张次公为岸头侯。

公元前124年春天，以车骑将军率领三万骑兵，从高阙(今内蒙古杭锦后旗)出兵，以迅雷不及掩耳之势包围匈奴右贤王，捕获了右贤王的王室十多人，普通男女民众一万五千余人，牲畜数千百万头(稍微有点夸张)。同时，汉武帝汉人遣使者拿着大将军的官印送到军中，即刻任命卫青为大将军，并以大将军名号班师回朝。

公元前123春天，以大将军领兵，从从定襄出发攻打匈奴，杀敌一万多人。

公元前123年，侄子霍去病受到武帝宠爱，成为侍中、嫖姚校尉。

公元前119年春天，以大将军领五万兵从定襄出兵，命骠骑将军霍去病领五万骑兵从代郡出兵。