卫家显赫后，长安城中有歌谣说：“生男无喜，生女无怨，独不见卫子夫霸天下。”言下之意是说卫家的显贵全靠卫子夫。
的确，两汉时期多数左右朝政的外戚都是靠裙带关系窍踞高位的，但卫家的情况不同。卫家的兴起有两大支柱。一个是外戚的身份，一个是卫青和霍去病建立的军功。如果一家人仅仅靠女儿嫁给皇帝，突然暴发显贵起来，权力的基础总是不那么坚固。而卫家则用外戚的身份作为建功立业的基础，和汉武帝刘彻的亲密关系为卫青、霍去病提供了便捷的舞台，可以比较没有拘束地施展拳脚。等他们建立旷世奇功后，外戚的身份就不那么重要了。就算只看在卫青、霍去病舅甥两个人浴血奋战、杀敌无数的分上，卫家也应该获得那么高的地位。战功比皇亲国戚的身份更有用，姐妹再受皇帝的宠爱也有失宠的那一天，但战功是实实在在摆在那里，不会失去的。
这就好像一个巨人用两条腿走路，一条腿是外戚身份（卫子夫受宠），一条腿是军功（卫青、霍去病前线统兵杀敌）。两条腿都很健壮，这个巨人走起路来就稳稳当当的。这就是卫家能够超越之前历史上的外戚家族，让天下惊羡的原因。
功高震主，卫青避祸