他對唐邕的不滿、或者說是嫉妒由來已久，因為覺得自家本是關東名門，如今又與皇室擁有著如此密切的關系，理所當然應當執掌軍機，如此才能變得內外顯赫。
但唐邕卻因深得皇帝的信任而常年占據這樣的職位，如今總算抓住了唐邕任事的錯誤，自然要大加抨擊指責。
唐邕這會兒也是自知理虧，只是垂首聽著李祖勛的訓斥，并沒有多作辯駁解釋。李祖勛在發作一通之后，眼見唐邕這樣的態度，一時間也有些索然無味，于是便拂袖而出。
離開此間后，李祖勛并沒有就此便對此事不聞不問，而是繼續多方打聽何以行事如此緩慢。一方面他確實擔心如今身在遼陽的皇帝陛下，另一方面則就是希望能夠借由此事來證明唐邕的能力不足，從而一舉將之取代，由自己掌管軍機。
在經過李祖勛一番認真的打聽之后，終于了解到事情的癥結是在濮陽王婁仲達身上。了解到這一點之后，李祖勛當即便打算前往婁仲達府上去拜訪督促。
雖然婁仲達乃是晉陽勛貴的代表人物，但是講到皇親國戚這一層身份，李祖勛自覺得自家并不比婁仲達差上多少，甚至還要更加的親近一層，因此對于婁仲達也就沒有太多的敬畏。
當李祖勛來到濮陽王邸中時，自知理虧的婁仲達便直接避而不見，只是著令家奴來作招待、并轉告自己惡疾纏身、不便見客。
“濮陽王既然體中不適，自當安心養病，勿為別事擾懷。然而皇命軍機也不可因一人不適便困阻不行，請濮陽王速速向省中請辭，由并省再揀員代替1
李祖勛自然不會被輕易打發走，聽到這話后當即便表態說道，總之今天他要么見到婁仲達的人，要么就要見到其人告病請辭的文書，否則便不肯離開。
婁仲達對此也有些無奈，因見李祖勛當真坐在堂中不肯離去，于是便著令家奴前往告知皇太后并作請示該當怎么做。婁昭君本就不喜皇后李氏，連帶著對其家人也都多有偏見，聽到婁仲達家奴奏報此事之后，她不由得便大怒道：“這一家漢奴過往恃著賣女我家得享榮華富貴，在鄴都作威作福也就罷了。既然不見，便作不知。但今在晉陽，竟然還敢如此猖狂，欺侮到我親侄門中，這豈能容忍1
此時她的少子博陵王高濟正來拜見母親，因見婁昭君如此惱怒，于是便發問道：“阿母何事惱怒？兒為阿母了事1
婁昭君聞言后便又怒氣沖沖的將李祖勛堵在婁仲達家中不肯離開的事情略作講述，然后便對高濟說道：“你現在也正閑處無事，便去你表兄家中逐走那李氏厭物，勿使其再繼續逗留1
高濟聞言后便點點頭，旋即又問道：“可若這李祖勛不肯離開的話，兒又應當怎么做？”
“些許小事都還拿不定主意？怎么事事都要旁人傳授1
婁昭君聽到這話后，頓時眼皮一翻、怒聲說道。