卫青去世多年以后，发生了一件震惊朝野的重大政治案件巫蛊之祸，当时巫蛊之祸牵连了数以万计的人，而且卫氏家族的权势也因此败落了，卫青的子女被诛杀的诛杀，被降官的降官，很多都没有得到善终，卫氏家族也从昌盛走向了衰落，这主要是汉武帝忌惮外戚专权所引起的祸端。
汉武帝被称为是中国历史上最独裁而且权力欲最强的皇帝，他诛杀卫氏家族主要是为了限制外戚的权利而加强自己的皇权，因为在汉朝外戚专权的事件屡有发生，比如吕后、窦太后她们的权势都能压过皇帝，骄傲的汉武帝不想卫氏家族的权力超越在自己之上，因此先下手为强，诛杀卫氏后人。
卫青去世以后，卫子夫随着年纪增大，容颜渐渐老去，年老色衰，汉武帝已经不再宠信她了，而且因为卫青去世，她的母家也没有了靠山，很多大臣就开始轻贱卫子夫。尤其当时在朝中有很多奸猾的朝臣，为了揣测汉武帝的心意，他们知道汉武帝最忌惮外戚的权势，于是就想方设法的想要扳倒卫子夫和太子刘据。
卫青去世多年以后，皇后卫子夫失去了娘家的靠山，也失宠了。汉武帝的宠臣江充，就想方设法的想要扳倒太子来迎合圣意，于是就制造了巫蛊之祸。当时汉武帝已经年老，而且经常出现幻觉，于是江充就根据流言说是和巫术有关，于是汉武帝就命令他的宠臣江充彻查巫蛊之术，于是江充就利用这个机会扳倒太子，以铲除卫氏家族这个政治大敌。巫蛊之祸确实使得皇后卫子夫和太子刘据纷纷自杀而亡，同时受到牵连的还有卫子夫的母家卫氏家族，由于卫青已经去世，而受到牵连的就是他的子女以及汉武帝的亲妹妹昭阳公主。
公元前92年的一天，像往常一样，汉武帝打坐，忽然看见男子身穿白衣挟宝剑过去，皇宫不允许挟带兵器入的，叫人护驾。护卫赶到后，男子消失，只能搜寻，差点翻个底朝天，结果什么都没搜到，无奈能把结果上报，汉武帝大怒下令“斩门侯”，命人从宫中转向长安城搜捕，长安城禁严11天，结果什么都没有。
汉武帝又怒又怕，收到了朱安世的报告，提到公孙贺的儿子与阳石公主私通，只是侮辱颜面还能从轻处理，在揭发中提到了使用巫术，“祝诅上，恶言。”汉武帝看完，明白一想，难怪怎么都搜不到刺客，原来是有人想用巫术害自己。勃然大怒之下的汉武帝为了安全，将公孙贺等人处死，这时汉武帝感觉有了保障，睡个安稳觉。