本鬼在前文《唐朝中央決策流程為什麼讓李義府反殺了權勢熏天的長孫無忌？》和《李義府的緊急上書為什麼被視為“廢王立武”的重要轉折點？》中提到，李義府的緊急上書是“廢王立武”的重要轉折點。李義府的緊急上書意味著唐朝中層官員和寒門地主開始支援“廢王立武”。
有意思的是，李義府的緊急上書並不是唐高宗授意的，而是李義府對長孫無忌的絕地反擊。如果長孫無忌沒有下令將李義府貶官，自私的李義府肯定不會主動出頭與長孫無忌做對，“廢王立武”也許就是另一個走向了。那麼長孫無忌為什麼要除掉當時名不見經傳的李義府呢？
有些人覺得長孫無忌想除掉李義府是因為李義府是奸臣，大唐國舅要為國除奸。但鮮為人知的是，李義府在“廢王立武”成功前是以耿直坦蕩聞名的（
而文致若讜直者
），長孫無忌不太可能提前預知李義府後來會變成奸臣。更何況長孫無忌一黨在永徽年間也幹了些奸臣的事。
因此本鬼個人認為長孫無忌想除掉李義府不是要除奸，而是想排斥異己。在貞觀太子之爭中，支援李治的官員為“晉王黨”。“晉王黨”分為兩派：一派是在太子之爭後支援李治的“朝臣派”，代表人物為長孫無忌；另一派是在太子之爭前支援李治的“府臣派”，代表人物為李勣。
李治（唐高宗）繼位後，“朝臣派”和“府臣派”的合作關係也結束了，標誌就是李勣在永徽元年（650年）辭去了尚書省僕射之職。長孫無忌當時最想收拾的目標是以李恪、李道宗、薛萬徹、高陽公主夫婦為代表的非“晉王黨”，見到李勣主動退讓，就暫時沒有打擊“府臣派”官員。
永徽四年（653年），長孫無忌透過“高陽公主案”將非“晉王黨”的潛在政敵一網打盡，開始對“府臣派”下手了。鑑於李勣的實力和“府臣派”與唐高宗的關係，長孫無忌還不敢對“府臣派”搞類似“高陽公主案”的大清洗，而是先從小角色下手。這個被挑中下手的小角色就是李義府。
很多人不知道的是，李義府早在貞觀八年（634年）就侍奉晉王李治（
又敕義府以本官兼侍晉王
）了，推薦李義府進入晉王府的人是劉洎和馬周。馬周是晉王府臣僚的二號人物（
檢校晉王府長史
），與長孫無忌的關係一直不近。劉洎更是“魏王黨”，最後死於褚遂良的誣陷。
李義府是典型的“府臣派”並與“魏王黨”有舊，此時還是起草政令的中書舍人，長孫無忌自然不能允許這樣一個異己長期擔任要害官職。再加上李義府出身寒門，與關隴集團出身的長孫無忌可謂天然對立。正因如此，長孫無忌決定拿李義府開刀，進而開始打擊“府臣派”和寒門。
