以卫子夫、卫青为首的卫氏一族包括霍去病的崛起都与一个人脱不了干系，这个人就是汉武帝的姐姐平阳公主。要知道在最初，卫子夫和卫青都算是平阳公主的私有财产，是她的家奴。正是平阳公主要与汉武帝搞好关系，才在府中为汉武帝设宴，并安排府中的歌女和舞女（这些女孩子都是良家子出身）伺候汉武帝，而歌女卫子夫脱颖而出，成功跟着汉武帝回了皇宫，后来就有了皇后卫子夫。
随着卫子夫的进宫以及得宠，卫氏一族渐渐受到重视，而卫子夫的同母异父的弟弟卫青开始建功立业，就有了后来的万户侯卫青，而霍去病则是卫子夫的外甥，同样在年纪轻轻成为万户侯，当然卫青和霍去病并不是靠的卫子夫受宠才成为万户侯，不过卫子夫的受宠确实给了他们机会去建功立业。从这里来说，平阳公主是卫氏一族的恩人，而到了后来平阳公主更是嫁到了卫家，成为卫青的妻子，曾经他是奴，她是主，后来他是夫，她是妻。
不过平阳公主嫁给卫青的时候，两人都不算年轻了，平阳公主应该已经接近五十岁，而卫青应该接近四十岁，两人都不是初婚，平阳公主在此之前已经守了两次寡，有一个孩子，卫青则有三个孩子。
在两人还没有成婚的时候，平阳公主的人生一直在经历苦难，而卫青则平步青云，在对抗匈奴的战争中七战七捷，连连获封，成为万户侯，公元前124年，卫青再次出兵，奇袭高阙，将右贤王包围，俘虏了十几个小王并男女1.5万人，牲口无数，这次大战的成绩是可喜的。
这次大战后，卫青官拜大将军，获食邑6000户，统领所有的将领。此时的卫青“内秉国政，外则仗钺专征。”地位远在丞相之上，而卫青的三个不满十岁的儿子也都封了侯，并各领食邑1300户，其中卫伉是宜春侯，卫不疑是阴安侯，卫登是发干侯。
而在同一年的平阳公主已经嫁给了第二任丈夫汝阴侯夏侯颇，但并不幸福，这其实就是一桩政治婚姻，没有什么爱情在里面，到了公元前115年，夏侯颇就因为与父亲的姬妾通奸被发现后畏罪自杀，然后平阳公主就又守了寡，守寡之后的平阳公主紧接着又经历了丧子之痛，她唯一的儿子曹襄也去世了。
平阳公主连续两次守寡后，汉武帝开始认真为姐姐寻找第三个夫婿，然后就想到了卫青，卫青有没有嫡妻在历史上并没有记载，只知道此时的卫青有三个已经封了侯的儿子。或许卫青并没有嫡妻，也或许他的嫡妻已经去世，总之，在不久之后，卫青娶了平阳公主。这自然也是一桩政治婚姻，并不像电视剧中描绘的那样属于青年男女的爱情，但是平阳公主有功于卫家，卫青自不会亏待了平阳公主，平阳公主也算是找到了一个不错的归宿。
不过两人结婚没有十年，卫青就在公元前106年去世了，平阳公主第三次守寡，这个时候的平阳公主已经年近六十，再也没有心思改嫁，没过几年，她也去世，并在死前要求和卫青合葬。
平阳公主和卫青婚后并没有生儿育女，而平阳公主唯一的儿子已经去世，她就只有三个继子，即卫青的三个儿子，卫青去世后，他这三个儿子的命运也不尽相同。实际上早在卫青还在世的时候，这三个儿子的侯爵就都曾被削去过。
公元前116年，卫伉因“矫制不害”免去侯爵，矫制不害的意思即假传圣旨但没有造成什么损失。此时的平阳公主还没有嫁给卫青。到了公元前112年，卫不疑和卫登两人的侯爵也被夺去，理由是酬金不如法，当然这很可能只是汉武帝削爵的借口，同时被削爵的还有104人，而当时的卫登和卫不疑很可能还只是孩子，并没有进入官场或者军中。
从这一年开始，卫青的三个儿子都失去了侯爵之位，等卫青去世的时候，卫青的长子卫伉继承了长平侯的爵位，卫不疑和卫登应该也有了相应的爵位和官职，但史籍中并没有关于两人的记载。时间很快到了公元前99年，卫伉再次犯错，即“阑入宫”，通俗一点理解就是擅自入宫，这次的处罚比较厉害，不仅被削了爵位，还北发配边疆服兵役和劳役五年。这个时候的平阳公主很可能已经去世，要不，卫伉不至于会被如此惩罚，倘若平阳公主还活着，汉武帝怎么也会看在姐姐的面子上，对她的继子从轻发落。
五年刑期满，卫伉回家，但命运就是那么捉弄人，刚回来没几年的卫伉又被巫蛊之祸牵连。公元前91年，卫子夫的外甥公孙敬声因挪用军费被查，然后牵出了一系列的巫蛊之事，后来太子刘据也被牵连进来，被逼着起兵，很难说这是不是汉武帝一手导演的祸事，但值得肯定的是，这次巫蛊之祸，卫家几乎遭受了灭顶之灾，太子刘据被迫自杀，皇后卫子夫也自杀，卫子夫的姐夫当时的丞相公孙贺也死了，阳石公主、诸邑公主、卫伉等都被处死。就连平阳公主的孙子曹宗也被牵连其中，或许那个时候的汉武帝早就忘了卫青和霍去病为刘家江山立下的汗马功劳。
这一场巫蛊之祸，卫家活跃在政坛上的人物悉数被灭，但卫青的次子卫不疑和第三子卫登似乎并没有被牵连到巫蛊之祸中，很可能当时两人的官职并不大，爵位也不高，并没有什么影响力，因此并不在被铲除之列。但是他们的命运如何，并没有在史籍中留下痕迹，不过卫登的后代后来还光复了卫家。
