民間有說法：呼風喚雨諸葛亮，神機妙算徐茂公！徐茂公真名叫徐世勣，後來被李淵賜國姓，改名李世勣。李世民登基後，為了避諱又去掉了一個“世”字，變成李勣。徐茂公頭腦靈活，很善於自保，在關鍵問題上如果沒有十足的把握，絕不會去隨便站隊。
李世民發動玄武門政變時，很多將領都參與了，而徐茂公則表現得十分謹慎，他深知一旦站隊錯誤，將會面臨滅頂之災，於是選擇閉門不出，事後李世民也怪徐茂公在關鍵時刻沒有幫助自己，故意把他在凌煙閣的位置後移。
然而智者千慮必有一失，聰明過了頭的徐茂公還是被自己坑了一把。唐高宗李治很是寵愛武氏，準備廢掉王皇后，改立武氏為皇后，卻遭到長孫無忌和褚遂良等一幫大臣的激烈反對。李治去徵詢徐茂公的意見，他又耍起了小聰明，說道：“此乃陛下家事，何須問外人。”
這句圓滑的話不但斷送了李唐的江山，也讓他自己的家族慘遭滅頂之災。李治駕崩後，春風得意的武皇后大權獨攬。因不滿武后專權亂政，徐茂公的孫子李敬業在揚州發出了討武檄文，結果不到四十天即被平定。
李敬業兵敗被殺並慘遭滅族，已經死去多年的徐茂公李勣也被刨墳掘墓，毀屍揚灰，棺木也被劈碎付之一炬。當聽到奏報說，徐茂公的棺中只有一套朝服和十個木偶人以及少量衣物時，武后輕蔑一笑說道：“真是個會鑽營的老滑頭。”
徐茂公很看重風水，他曾找到一位極有專業水平的風水先生，給自己尋找到了一塊能夠興旺子孫的風水寶地。但是另一位道行頗深的風水大師看過墓地後，嘆息道：“李勣選了塊很壞的地方，如果他選擇埋在這裡，將來必不得安穩。”小算計永遠上不了大臺面，徐茂公後來油滑的所作所為，早已沒有了早年的英氣與擔當。可惜的是人算不如天算，他晚年畏首畏尾的做法，也讓自己付出了被族滅的代價。
