卫青温良和善，不愿与李敢为敌。更重要的是，卫青自己的处境也很微妙，在权力场上如履薄冰。卫青家族出了皇后卫子夫和太子刘据，卫青自己和姐夫公孙贺、外甥霍去病封侯拜将、手握兵权，他还娶了汉武帝的姐姐平阳公主，赫然是西汉帝国的权势第一家。家族兴旺了，掌权了，不一定是好事。因为最上头的皇帝、汉武帝刘彻权力欲望特别强烈。刘彻是个雄才大略的皇帝，一般雄才大略的人，权力欲就强，疑心也重。卫青一家的势力遍布朝野，自然也受到了刘彻的猜忌。姐姐嫁人卫青家后，卫青更是权势熏天，仿佛是“天下第二人”。刘彻的猜忌心理重新泛起，于是先让卫青离开前线军队，招到长安来居住议政，将卫青高高挂起；同时分化卫青家人，重用霍去病，让霍去病牵制卫青。霍去病头脑简单，政治幼稚，“为人少言不泄，有气敢往”，只知道行军作战打匈奴。刘彻曾经劝霍去病学点吴起、孙子的兵法，霍去病却回答说行军打仗不拘泥于古代兵法，学那些玩意儿没用。刘彻发自内心地同时也有目的地宠爱霍去病，着意培养，委以军事重用。汉朝和匈奴的战争在继续，但卫青失去了对前线部队的直接指挥权，只是名义上的主帅。相反，霍去病在祁连山战役、招降浑邪王等事上立下了赫赫战功。这年春天，朝廷谋划漠北战役的时候，刘彻干脆将卫青名义上的主帅也给撤掉了，命令卫青和霍去病分别率领五万精骑，兵分东西两路，远征漠北。双方互不节制，分头行动。
如今漠北战役胜利结束，天下太平，汉武帝更加不需要声望超群、领兵驰骋的卫青了。卫青的权势建立在军功上，现在军功不可能再有了，只剩下皇帝的猜忌和防范。刘彻继续捧霍去病去压卫青。等卫青、霍去病凯旋归来，刘彻很客气地不让他们继续掌握军队。卫青是大将军，霍去病是骠骑将军，又是万户侯，没办法再提拔他们了。刘彻很有创意，新增了“大司马”的官职，让卫青、霍去病并列为大司马。卫青是大司马兼大将军，霍去病是大司马兼骠骑将军，地位相等。
这是一个很明显的信号。那些墙头草和势利小人纷纷给霍去病拍马屁，有事没事就往霍去病家里跑，套近乎，其中就有很多原来经常在卫青家里出现的面孑L。霍去病家里热闹了起来，卫青家门口一下子就冷清了。好在卫青是个厚道恬静的人，已经将这一切看开了。他家里人有时候也会感叹世态炎凉，卫青却不以为然，认为这是人之常情，心甘情愿地过着恬淡平静的生活。
遭遇李敢的行刺，卫青的第一反应就是大事化小小事化了。这件事情传扬出去，对李敢不利，对卫家也不好，还不如保持一团和气。
然而，李敢行刺让许多人看到了，压是压不下去了，很快便传到了霍去病的耳朵里。霍去病一如既往的头脑简单，更理解不了舅舅的韬光养晦，他记恨起李敢，欲先除之而后快。他瞄准李敢到甘泉官参加皇家狩猎的机会，寻机射杀了李敢。名将之后横死，总要有个交代。汉武帝正宠信霍去病，还需要霍去病制衡卫青的势力，于是替他说话：“李敢是被鹿触死的，可惜了。”这件事情就这么掩盖过去了。
卫青知道后，惨然一笑。
第二年（前118年），李敢的叔叔、丞相李蔡被扣上私自侵占汉景帝陵园前一块空地的罪名，被迫自尽了。他担任丞相四五年间，协助汉武帝治吏、改币、统禁盐铁等事，中规中矩。事实上，汉武帝选择李蔡，并非看中他的能力或者想法，恰恰是因为他平庸安分、循规蹈矩。还是那句老话，汉武帝是一个强权的皇帝，不能容忍强权丞相的存在。所以他执政时三五年就换一个丞相，李蔡只是其中的一个匆匆过客而已。
李蔡是汉武帝的棋子，李广是汉武帝的棋子，卫青是汉武帝的棋子，霍去病是汉武帝的棋子，但李敢不是汉武帝的棋子，他的作用和分量还不够做皇帝手中的棋子。李敢是个“搅局者”，讨人嫌，所以不如除去的好。从汉高祖诛杀韩信到汉景帝诛杀晁错顶罪，再到后来汉武帝腰斩公孙敖，西汉王朝一路下来血光不断。历史上这样的例子还少吗？
挑棋子、用棋子是帝王为政的学问，皇帝老子掌握了就可以了，大小臣工没有必要学。合格的臣子应该是循规蹈矩、安心做好皇帝棋子的人。