常言说得好：树大招风。正是因为卫氏家族的富贵，所以遭到一些人的嫉妒和陷害。征和二年（前91年）六月至八月之间，汉武帝非常信任的一个名叫江充的酷吏，以“巫蛊”之罪，陷害卫子夫和太子刘据等人，致使卫氏家族从兴盛走向灭亡。

　　汉朝人很相信巫术，汉武帝期间发生多次“巫蛊”事件，对当时的政治、社会都产生了巨大影响。所谓“巫蛊”就是巫师利用人们的迷信，将象征真人的木制偶人埋到地下，通过巫师祈求神鬼，帮助施行巫蛊者加害所要憎恶诅咒的人。

　　汉武帝最忌讳“巫蛊”，汉武帝一朝因为巫蛊事件而多次构成大狱，许多人受牵连而死。前面说的陈皇后就是因为“巫蛊”事件引火烧身，还使得卫子夫因祸得福。

　　太子刘据为人忠厚，平时遇有冤狱，往往代为平反，颇得民心。而江充等汉武帝时代的酷吏，处事方式与太子不同，对太子早就心怀不轨。有一次，江充随从汉武帝去甘泉宫，太子家的人乘车马行驶在驰道中，违反了汉代的法律规定，被江充令人没收了。太子知道后，派人向江充致歉说：“非爱车马，诚不欲令上闻之，以教敕亡素者。惟江君宽之！”恳请江充法外施恩，但是江充并不接受太子的致歉，还把这事告诉了汉武帝，武帝高兴地说：“人臣当如是矣。”于是，太子与江充就有明显的嫌隙，江充害怕武帝死去，太子继位，会对自己不利，你让鱼死，我就先让网破，于是想先下手为强，除掉太子，免贻后患。

          

　　汉武帝在甘泉宫患病，江充就向汉武帝说，汉武帝的疾病是因为“巫蛊”的原因。汉武帝就派江充审理，又派按道侯韩说、御史章赣、宦官苏文等协助江充。江充先惩治后宫嫔妃，然后开始对皇后和太子下手。江充故意在太子宫中掘地三尺，太子、卫后的宫殿被挖得连放张床的地方都没有，最后江充把早就准备好的木偶人，一本正经地从太子的宫殿挖出来，并向汉武帝禀报情况。

　　太子知道是江充陷害自己，就按照自己老师石德的意见，发兵抓了江充，并亲手杀了他。宦官苏文逃到甘泉宫，向汉武帝报告说太子造反。汉武帝一开始不相信，派人去召太子，但是派出的使者不敢去，就回报汉武帝说，太子真的造反了。汉武帝大怒，派丞相刘屈发兵讨伐太子，双方在长安城中苦战五天五夜，血流成河，最后太子兵败，逃出长安自杀身亡。

　　汉武帝收走卫子夫皇后御玺，卫子夫知道儿子自杀后也悬梁自尽，一生温柔敦厚的卫子夫走完了她38年的皇后之路，而盛怒之下的汉武帝大开杀戒，屠灭卫家三族和帮助卫家的宫人达十万之多。

　　卫子夫由歌女、妃子以及到女人之极位的一国之后，除了她的容颜美色，温柔贤淑之外，还因为她有太子刘据做为她的支柱。太子自缢，亦使她的政治生命走向了终结。事实证明，她尽管希望太子早日登基，但并没有存心诅咒汉武帝早死。在她为皇后的38年中，是比较安份守己的，更难能可贵的是她没有政治野心以及参与汉朝的政治斗争之中。所以汉武帝死后，她的名誉还是得到了恢复。另外，应该指出的是，子夫的入宫，使她的弟弟卫青，外甥霍去病得到了施展才能的机会，也使汉武王朝多了两名能征善战的将军，在以后西汉反击匈奴的战争中赢得了主动地位。从客观上讲，子夫对汉朝是有功劳的。固然，汉武帝对卫氏一门的宠幸有过分之处，但总的来说，卫氏一门对汉朝的巩固是做出过贡献的，因此，卫子夫的影响也是不能抹杀的。