在衛青最當紅的時候，他的稗將蘇建曾經勸過大將軍衛青：“大將軍的地位如此尊崇，而天下的賢人士大夫都沒有人稱贊你，也不關注你。大將軍應當學以前的名將招攬一些士人，多多舉薦他們才是啊。”衛青說：“自從魏其侯、武安侯招徠了天下的賓客和士人之后，天子常常恨得咬牙切齒;那種招納賢人斥退不肖的能人，就是天子的忌諱。我們當臣子的就是奉法遵職而己，為什么要招納士人呢。”

魏其侯竇嬰，武安侯田蚡，都是外戚，都曾權重一時，都死得很慘。衛青能有這份清醒，也是他能得善終的根本原因。

衛青當上了大司馬大將軍。這個官職什么意思呢？從武帝開始，為削弱相權設立內朝，如丞相等的正規官職屬于外朝，而大司馬大將軍則是內朝領袖，可領銜在內朝預聞政事，參議決策;實際上是地位最高的輔政大臣，權力超過丞相。

而得到這一切，衛子夫的皇后身份只能幫他們起步，更要歸功于他們彪悍的戰功。《漢書》中說道：“最(意為統計)大將軍青凡七出擊匈奴，斬捕首虜五萬余級。一與單于戰，收河南地，置朔方郡。再益封，凡萬六千三百戶;封三子為侯，侯千三百戶，并之二萬二百戶。其裨將及校尉侯者九人，為特將者十五人。”而且，正是衛青，把原本不善作戰的農耕民族的戰斗力大大提升了。正如南宋軍事家岳飛所言：“戰法革新破匈奴，衛青始。”

但衛青的做人方式，完全不像是一個大權在握的大司馬大將軍，反倒惕厲自守，異常小心。衛青深知武帝要的是絕對威權。他出征匈奴歸來，把賞金分一半給武帝寵妃王夫人的父母親上壽;他出征在外，有權處理自己按律當斬的稗將，他不敢，把稗將綁起來帶回給天子處置;又明示自己不敢養士。司馬光的《資治通鑒》卷十九中，便說衛青“以和柔自媚于上”。

衛青夾著尾巴做人，武帝自然要蹬鼻子上臉。武帝著意培植霍去病，時時打壓衛青。舉個例子，在元狩四年出征時，衛、霍二人同時出征，但霍去病是有優先選配將士之權的，衛青就只能配備挑剩下的士兵了。原本聽說匈奴大單于在西路，武帝就讓霍去病走西路;后來聽說大單于在東路，又改派霍去病走東路，目前就是為了讓霍去病立大功。只不過，遇到大單于的卻是衛青，雖然打了勝仗，大單于也逃了。回來后，霍去病受了重賞，手下的將領很多都立了功;而衛青沒有受賞，手下也得不到封賞。經此一役，衛青以前的朋友門人多去侍奉霍去病了，改換門庭，輕輕松松就拿到官爵。

武帝抬高霍去病而打壓衛青，很顯然是有分權的原因，好讓霍去病與衛青兩人都握重兵，互相制衡。但我想，分權雖是考量的重要因素，但武帝越來越看不上衛青，也跟武帝的性格有關。衛青不敢論政事，永遠都小心翼翼、戰戰兢兢，這樣的人固然不會犯什么大錯，也無法招人喜歡;對于恣意飛揚、狂放浪漫、好大喜功的武帝來說，確實無法跟衛青產生共鳴。

事實上，衛青之謹慎，已經把二人的君臣關系轉化為主奴關系。致使宋代的蘇軾在《君使臣以禮》猶不平：“武帝踞廁而見衛青，不冠不見汲黯。青雖富貴不改奴仆之姿，而黯社稷臣也。”就是說，你衛青位高權重，姿態還是像個奴仆，而汲黯這種沒能被任用的，反而是真正的社稷臣，值得尊重。更在《東坡志林》卷四里說道：“若青奴才，雅宜舐痔，踞廁見之，正其宜也。”把人家出生入死的大司馬大將軍說成是舐痔小人，這也太狠了。

元狩六年時，當了兩年大司馬的霍去病病死。而在此后，漢武帝再也沒有派衛青出征。接下來，衛青的長子宜春侯衛伉坐法失侯;后來，衛青的兩個小兒子與衛青的大姐夫公孫賀都丟掉了爵位。開始的一門五侯，只剩下衛青一個了。

而且，對衛青及衛氏家庭的打擊，絕非偶然，很難說，這些打壓，不是一局大棋。

這樣大家能理解了吧？為什么衛青權勢那么大，還是膽小如鼠？那是因為，在漢武帝這樣的強勢君王面前，他想自保，想給家族留一條活路啊。但是，這能管用多久？