衛青在歷史上評價並不高，和霍去病、李廣相比，從來就是低一個層次。從司馬遷到司馬光，有“史學雙壁”之稱的《史記》和《資治通鑑》對衛青都不甚喜愛。歷代的文人從王維到蘇東坡則對衛青持“這是個幸運兒”、“奴才”的態度。
1、李廣出身名門，衛青出身騎奴
細心的讀者會發現，在《史記》裡李廣是被單獨立傳的：《李將軍列傳》。衛青和霍去病是二人合傳：《衛將軍驃騎列傳》。按現代人的理解，李廣雖有飛將軍美名，一生與匈奴爭戰70多場，但沒有太耀眼戰功。這名沒有封侯的將軍居然單獨立傳，此等待遇是封侯的大將軍衛青、驃騎將軍霍去病所不及的。究其原因，後世認為：
李廣系出身名門，“其先曰李信，秦時為將，逐得燕太子丹者也。”其祖先叫李信，是秦國將軍，荊軻刺殺秦王政的主謀燕太子丹，就是被李信所追獲。漢朝仍有春秋戰國時期的入仕傳統，貴族子弟爵位世襲，士人、門客才能是君王所依賴的，遊俠、豪士則更次一等。結果，一個連一般百姓都不是的騎奴竟然成為大將軍，獲得封侯的至高榮譽，對於同樣出身名門的司馬遷來說是很難接受的。
司馬遷因李陵受腐刑是眾所周知的。作為李廣的孫子，李陵在司馬遷的筆下著墨頗多，而描述李陵兵敗被抓的春秋筆法裡，則隱含著對漢武帝的極度不滿。
司馬遷對李廣、李陵多有稱譽，對衛青多有貶低。司馬遷引用《論語》“居上位的人行為端正，不用命令下屬也會執行；而自身不正，釋出了命令也無人聽從”來評價李廣。同時司馬遷說：“我所認識的李將軍老實厚道像鄉下人，不善言辭，他死的那天，天下無論認識的還是不認識的，都為他傷心哀痛。這是因為他忠厚的品格得到人們一致信賴啊。諺語“桃李不言，下自成蹊”說的就是李廣吧。
再來反觀司馬遷對衛青的評價：“大將軍為人仁善退讓，以和柔自媚於上，然天下未有稱也。”衛青為人仁善忍讓，以寬和、柔順“自媚”於皇上，可天下沒有人稱讚他。注意此處的用詞是“自媚”，按古義解是用卑賤態度討好、取悅於人，甚至使用逢迎諂媚的伎倆獲取寵愛的意思。
2、衛青被認為是漢武帝窮兵黷武的幫兇
衛青被斥為“奴才”還與兩部史書對漢武帝的歷史評價有關。司馬遷在《孝武本紀》中大篇幅寫了漢武帝信神拜鬼，大興土木的行為，其他的評價散見於相關的表、書、家、傳裡，總體評價認為漢武帝性情殘暴，寵愛酷吏，對人民用狠，窮兵黷武對匈奴用兵，導致國家凋敝。
《資治通鑑》裡司馬光的表述更明確：孝武窮奢極欲，繁刑重斂，內侈宮室，外事四夷，信惑神怪，巡遊無度，百姓疲敝起為盜賊，其所以異於秦始皇者無幾矣。然秦以之亡，漢以之興者，孝武能尊先王之道。知所統守，受忠直之言，惡人欺蔽，好賢不倦，誅賞嚴明，晚而改過。顧託得人，此其所以有亡秦之失而免亡秦之禍乎？
因此，衛青就成為七戰匈奴、勞民傷財、揮霍掉文景之治家底的漢武帝的幫兇。說白了，司光遷、司馬光認為，你的主子窮兵黷武、有亡秦之失，作為騎奴的衛青你有什麼值得稱揚的？
3、衛青的德行與儒家之根本不相符
在上千年的中國歷史中，一直是正統文化的儒家講究“三不朽”——太上有立德，其次有立功，其次有立言，雖久不廢，此之謂不朽。也就是說，為人處世要立德，其次才是立功、立言。
衛青顯然只有立功，甚至對於這個立功歷史上也曾有質疑，唐代大詩人王維在《老將行》中寫道：衛青不敗由天幸，李廣無功緣數奇。衛青對匈奴用兵沒敗過，是運氣太好，有老天爺幫助，李廣爭戰無功沒有封侯，主要是緣於命運不好，不是能力不行。也就是說，衛青不過是一個幸運兒，他姐姐當初靠在平陽公主家裡販賣色相成為皇帝寵愛，因此就成了皇帝的小舅子，因此得到格外的關照，這樣的“上位史”一點也不光彩。
儒家認為，相比於“幸運的立功”，衛青沒有立德也沒有立言，從德行上更無可談之處而，直接稱呼衛青為“奴才”則始於蘇軾蘇東坡。
蘇東坡在《君使臣以禮》中說：“武帝踞廁而見衛青，不冠不見汲黯。青雖富貴不改奴僕之姿，而黯社稷臣也。”漢武帝在廁所上著大便接見衛青，但不戴好帽子不敢見汲黯。衛青雖然富貴仍是奴才樣，汲黯才是真正可以託付社稷的重臣。蘇東坡還在《東坡志林》裡說：“若青奴才，雅宜舐痔，踞廁見之，正其宜也。”如同衛青這樣的奴才，就是用來舐菊舔屁屁的，所以皇帝大便時接見他，是非常適宜的。
蘇東坡的這兩句狠話，可以說用最通俗、直白的語言表達了儒家對衛青的不屑，認為他就是十足的“奴才”，只配給皇帝舐菊，一味的巴結媚上。只有汲黯這樣具有獨立品德、人格的名士才是儒家所提倡和學習的。
蘇軾把衛青稱為“奴才”，潛意識裡反映了歷史上儒家的一種共識。對於今天的我們沒必要太過於耿耿於懷，畢竟歷史在前進，觀念也在與時俱進。
