刘彻开始疏远卫青，主要采取了两种方法：第一种是让卫青离开前线军队，到长安来居住议政，等于是将卫青高高挂起；第二种是重用霍去病，让霍去病牵制卫青。这第二招很毒辣，等于是分化卫青家人，“拉拢一派，打击一派”。霍去病虽然是卫青的外甥，毕竟不姓卫，和卫家人的关系不那么密切。刘彻更看中的是霍去病的头脑相对简单。
霍去病“为人少言不泄，有气敢往”，只知道行军作战，消灭匈奴，在政治上很幼稚。刘彻曾经劝霍去病学点吴起、孙子的兵法，霍去病回答说行军打仗不拘泥于古代兵法，学那些玩意儿没用。刘彻发自内心地，同时也是有目的地，更加宠爱霍去病这个青年俊才了，着意培养，委以军事重任。一次，刘彻御驾亲临霍去病的府邸，见到霍家凌乱，就让霍去病多留心点家里。霍去病慷慨回答：“匈奴不灭，何以家为？”这句话迅速传开，成为千古名言。霍去病的声望随之节节攀升。
而对于卫青来说，甯乘提醒的“物极必反”的危险终于到来了。
汉朝和匈奴的战争在继续，但卫青失去了对前线部队的直接指挥权，主要是发挥着名义主帅的作用。相反，霍去病上场表现的机会更多了。
元狩二年（公元前121年）春天，霍去病升任骠骑将军，率一万骑兵出陇西，飞奔上千里，歼敌近万人。霍去病因功被加封二千户食邑。同年夏，汉武帝命令霍去病与公孙敖兵分两路攻打匈奴。霍去病率军深入，越过居延泽，到达祁连山，一举斩杀三万多匈奴人，捕获匈奴王族和大臣、贵族上百人。这场大败摧毁了匈奴人的自信心。他们悲伤地唱道：“失我祁连山，使我六畜不蕃息；失我焉支山，使我妇女无颜色。”相反，刘彻非常高兴，又给霍去病增加了五千户食邑。