馬邑伏擊戰之后，漢匈關系進一步惡化。匈奴從上谷入侵，燒殺搶掠，邊境官民死傷慘重。在軍事上、經濟上都已有所準備的漢武帝正式開始了大規范反擊匈奴的戰爭。衛青也由此迎來人生的一個嶄新階段。

他第一次領兵作戰參與了關市之戰。元光五年(前130年，一說為元光六年，前129年)，漢武帝分兵四路出擊關市附近的匈奴軍。衛青被任命為車騎將軍，委以重任，從上谷(郡治在今北京延慶西南)出擊匈奴軍。

另外三路：太仆公孫賀為輕車將軍，出云中;大中大夫公孫敖為車騎將軍，出代郡;衛尉李廣為驍騎將軍，出雁門(郡治在今山西左云西)。這四路將軍每人各自率領1萬騎兵。然而他們進兵作戰戰果卻大相徑庭。這次戰役，衛青沒有辜負漢武帝的信任，從上谷出發，一路追擊匈奴兵至蘢城(也寫作“龍城”。匈奴祭祀天地祖宗之處，在今內蒙古正鑲白旗附近)，斬殺敵人700余人，得勝而還。其他三路，李廣是秦代名將李信之后，有與匈奴多次作戰的經驗。

他自負才氣，從雁門出發后，領軍急進，遭遇匈奴主力部隊，漢軍幾乎全軍覆沒，他本人也被俘虜，后來逃歸。公孫敖從代郡出發，被匈奴兵大敗，損失了七千多人馬。

公孫賀從云中出擊，沒有戰功而退軍。(《史記·衛將軍驃騎列傳》)在此次戰役的四位將軍中，只有衛青是第一次領軍與匈奴作戰。衛青雖是小勝，然而對比其他將領的慘敗或者無功而返的戰績，他的戰功顯然最大。不僅如此，衛青第一次出兵遠征即攻占并燒毀了匈奴的龍城，意義非凡。根據匈奴禮俗制度，龍城是匈奴歷來祭祀天地、鬼神和先祖的圣地，也是維系匈奴人信仰的所在。(《史記·匈奴列傳》，《漢書·武帝紀》顏師古注引應劭)衛青燒掉龍城，等于搗毀了敵人的精神和信念。在軍事上，匈奴不可戰勝的神話從此被破除了，極大鼓舞了漢軍的士氣。衛青在關市之戰后被封為關內侯。

元朔元年(前128年)，衛青受命領軍3萬出雁門，斬殺匈奴數千人。西漢取得了軍事反擊匈奴以來的第一次大規模勝利。雁門之戰勝利之后，衛青逐漸成為抗擊匈奴的主將。

這些戰爭的勝利，并沒有遏制匈奴的入侵。元朔二年(前127年)，匈奴侵入上谷、漁陽(郡治在今北京密云西南)，殺害遼西太守，殺掠吏民2千多人，并打敗了韓安國將軍的部隊。漢武帝命令李息率軍從代郡出發，討伐匈奴。衛青受命從云中郡向西直奔高闕(今內蒙古烏拉特后旗東南)。隨后，衛青沿黃河西下隴西，俘獲敵軍幾千人，牲畜幾十萬頭。匈奴白羊王、樓煩王戰敗逃走。

此戰收復了自秦亡淪陷于匈奴70多年的河南地(今內蒙古河套一帶)。西漢在河南地設置朔方郡，并募移民10萬人充實朔方，建立了穩固的西北邊防體系。河南地的收復基本解除了匈奴對西漢都城長安的威脅。收復河南地之戰，甚至可以看作“漢武帝向匈奴發動一系列戰略進攻的奠基之戰”，“使漢軍有了一個可東可西，出擊匈奴的重要基地”(顏吾芟著《中國秦漢軍事史》)。衛青因收復河南地之戰而被封長平侯，食邑三千八百戶。

收復河南地之戰后，匈奴人并不甘心失敗。從元朔三年(前126年)起，匈奴軍大規模入侵代郡、定襄(郡治在今內蒙古和林格爾西北)、上郡(郡治在今陜西榆林南)，殺害虜去漢朝幾千人。元朔五年(前124年)，衛青被任命為車騎將軍率領騎兵3萬人，從高闕出發。同時出發的還有：游擊將軍蘇建，強弩將軍李沮，騎將軍公孫賀，輕車將軍李蔡，他們都由衛青統一指揮，從朔方出發。衛青率大軍出塞六七百里，趁夜突襲包圍了右賢王部，大獲全勝，斬獲輝煌。這次戰役后，漢武帝派使者正式授予衛青大將軍印信，各路將領及部隊都統一歸屬大將軍指揮。由此，衛青逐漸成為西漢軍隊的最高領導者。