虽然卫青为人正直低调，不争名夺利，但是其仍然是一方强大的外戚势力，对于皇权有影响和掣肘。
外戚终究是外戚，哪怕和皇帝联系得再紧密。卫青喊刘彻姐夫，刘彻反过来也叫卫青姐夫，各自娶了各自的姐姐。
卫青从一个平阳公主的骑奴，最终成为了大汉帝国的大将军，踏平匈奴，建功无数，在军中人气无二。其实得益于幕后刘彻的一手打造。
在卫青活着的时候，刘彻其实就开始着手考虑如何削减他了。刘彻实际上对这个大将军也是充满了忌惮。
在《汉武大帝》里，赵信偷袭甘泉宫，卫青竟然可以调动虎贲营。刘彻曾经说，“朕不能只有一个卫青!”所以不满20岁的霍去病，很快就成了汉帝国封狼居胥的新英雄。
卫青向来低调，至少比此前的窦婴、田蚡这些外戚低调得太多太多。这是卫青的优点，但同时也是在刘彻眼里的缺点。因为想收拾他的时候，自己没有任何把柄。
既然卫青又有才能，为人又低调，刘彻还考虑要收拾卫青呢？刘彻考虑的不是自己，而是卫家这个自己一手打造的强大的外戚，在自己死后，一定会深刻影响到太子刘据。
而回顾刘彻本人的亲政经历 ，处处受外戚掣肘。迎完了窦家，送王家，还有那个陈阿娇。所以为了刘据的未来，卫家最好是低到尘埃里。只可惜有如此厉害的卫青，还有霍去病的加持。卫家越强大越低调，对于刘彻越是如鲠在喉。
在正史里，刘彻解决卫家的方式，颇费心思。他给卫青三个未成年的儿子封侯，实际上就是铲除卫家的开端。因为汉朝的规矩是“异姓不封王，无军功不封侯”。
虽然卫青一再婉拒，但是已经阻止不了刘彻在卫家的下一代开始动手了。但是最终谁也没有想到的是，卫青死后，卫家本身已经被连根拔起。
但是太子刘据也因此失去了庇护。在尔虞我诈，你争我斗的后宫，另一个外戚势力又在崛起，也是刘彻自己一手打造的“贰师将军”李广利。
虽然和李广差一个字，但是刘彻其实对这个天资弱很多的将军还是非常满意。因为刘彻觉得，“剑顺手就可以，磨得太锋利容易伤到自己。”在刘彻的眼里，卫青、霍去病就是那些过于锋利的剑，而李广利则是顺手的剑。
但是李广利和刘屈髦勾结，最终导致了刘据因为江充的“巫蛊案”，而起兵“反叛”，最终兵败逃亡后，被逼自杀。这两个并不聪明的人，却彻底利用了刘彻生性多疑的心理。
可以说“外戚干政”是刘彻心里，永远无法抹去的阴影，这个阴影一直折磨到刘彻死去。这个阴影导致了大汉帝国在汉武帝晚年时期，造成的无可挽回的巨大损失。
首先，对于卫青死后，汉武帝诛杀了他整个家族，这个题目对比史实其实是有点错误的。在卫青这个这个卫家的守护神死后，卫家确实因为各种原因受到迫害和牵连，卫家的许多人被汉武帝诛杀，但是如果这就说汉武帝灭了卫家整个家族就有点名不副实了。
据史料记载，卫青还是有很多后代的，并且还过的不错。就比如卫青孙子辈：汉宣帝元康四年，诏赐卫青之孙钱50万，并恢复其爵位。卫青曾孙辈：汉成帝永始元年，卫青曾孙卫玄以长安公乘（汉代爵位之一）任侍郎。卫青玄孙辈：元始四年，卫青玄孙之一被赐爵关内侯。
由此看来，卫青并没有被灭掉整个家族，但是在卫青死后，卫家被汉武帝打压和迫害在历史上确实实实在在发生的。
那么一代大将军卫青，其整个家族本该荣耀无比，就算死后，也会萌新后世，为何家族会被汉武帝迫害和打压呢？其实这有很多方面的原因。
一、卫青功高震主，卫家权势滔天
首先大家都知道卫青曾七战七胜于匈奴，一度被汉武帝拜为大司马大将军，并且其在军队中声望威信极高。再加上卫青的姐姐是当时汉武帝的皇后，统领后宫。当时的太子刘据也是由卫子夫所生，也就是卫青的外甥。由此可见，卫家在当时的权势可以说是一手遮天。
卫青在世时，因为卫青的声望和军队中的威信，汉武帝投鼠忌器，并不能把卫家的权势削落。但是卫青死后，对卫家动手是必然之举。
汉武帝刘彻小时候就见识过外戚权势过大会造成什么样的后果，吕太后和窦太后的前车之鉴还历历在目。汉武帝深刻明白，必须削落卫家的权势，才能稳固自己刘家的天下。
汉武帝在历史上是个很有权谋的皇帝，他深刻明白权力的重要性，他也喜欢把权力把握在自己手中。但是当时的卫家分割了一些汉武帝手中的权力，使得汉武帝感觉到皇权受到威胁。所以卫青死后，卫家的许多大臣都被汉武帝剥夺政治权力，并被赐死。
二、太子刘据皇后被陷害，卫家失去庇护
在卫青死后，卫家已经只剩下皇后卫子夫这最后一个靠山。我们都知道，卫子夫的儿子刘据是并没有继承皇位的。
这是为什么呢？
因为卫家最后一位靠山卫子夫包括太子刘据都被人陷害至死了。征和二年，汉武帝在巫蛊之乱中被江充、苏文等佞臣蒙蔽，太子刘据被诬陷，无奈只能起兵反抗，但是最后兵败只能逃亡，而后因为拒绝被捕受辱而自尽。
都说母凭子贵，儿子受辱自尽，母亲自然也不能独身，卫子夫也因为不能证明清白不堪受辱而自尽。这样，卫家的最后一位大靠山也没了。
汉武帝是不会放弃这么好的机会的，再加上太子刘据叛乱也有部分卫家子弟参与，所以汉武帝也就借此对卫家来了一次大清洗。
其实卫家被汉武帝清洗的根本原因还是因为卫家的权势过大威胁到了皇权，巫蛊之乱，太子刘据叛乱只是一个导火索和原由。卫家作为当时十分具有权势的外戚，被迫害是情理之中的事，换作其他的家族，后果也是一样的。