嚴嵩一直以來在大家的眼中便是一個奸臣形象，說他惡貫滿盈，說起手段殘忍，在位20年期間除掉了不少的政敵，也解決了很多反對其的勢力。有人形容嚴嵩是不達目的誓不罷休，也有人說他是大明王朝的蛀蟲，損害了朱家集團的根基，但當中的事實並沒有那麼的簡單。
與嚴嵩相呼應的，還有他的兒子嚴世藩。嚴世藩可能從小便是“官二代”或是因為自己的天賦過人，在父親的薰陶下、在身處官宦世家的耳濡目染中，這個年輕人漸漸對權謀有所懵懂，手段計謀的使用更是出神入化，在嚴嵩老年後，嚴世藩更是有一種“後浪拍前浪”的態勢。
最終，在嘉靖王朝的後段，嚴嵩的政權倒臺，嚴家的勢力散的散，反的反，儼然一副人走茶涼的態勢。嘉靖因徐階和三法司的一紙訴狀，一怒之下將嚴世藩殺死，可在對待嚴嵩上，嘉靖遲遲沒有動手，百官和嚴嵩之前的政敵看不下去了，便一起上書想要將嚴嵩徹底消失。可在這時，嘉靖帝面對百官的奏摺是何等的平靜，他沒有，也不能對這個老臣下手。
嘉靖皇帝也是人，是人也是有感情的，他知道手下的文官集團都反對其修道，都在私底下說自己是在“挑戰不可能”，可就是在這個時候嚴嵩跪在其的面前，不僅寫的一受好青詞討的其開心，還拖著自己老破殘軀為嘉靖皇帝試吃剛剛練出的丹藥，就當夏言拿著自己賞的香葉冠不當回事的時候，嚴嵩卻將這個頭冠視作珍寶，逢人便拿出炫耀。如果拋開臣子的關係來說，嚴嵩簡直就是嘉靖帝的知心小夥伴啊！而且這個小夥伴一陪就是二十年，這二十年的時間就算他是君王，擁有鐵石的心腸，但也會有所眷戀。
嚴嵩作為一代首輔，執掌了內閣大印20年，也就漸漸成為了嘉靖皇帝想做而又不能做的兇器。例如嘉靖年間的“沈煉事件”，嚴嵩便是做了皇帝想做又不能做的事，所以為了維護皇帝的權威，為了幫助皇帝逃避責任，嚴嵩將此人誅殺，群臣自然也就怪不上嘉靖，也就只能去找嚴嵩撒氣。所以說，對於自己手下一個這麼好用的臣子，一個這麼懂得自己的人，一個敢於為了自己做人肉盾牌的人，自己又怎麼會不喜歡呢，有了這份情誼，他深知嚴嵩的不易，所以念及舊情皇帝便沒有再動這個老人。
在一些清流人士中，這裡包括了徐階、高拱和太嶽，他們都會說嚴嵩將所有的事都綁上了皇上，所以他們才不好對嚴嵩下手，其實這句話他們是說反了，不是嚴嵩非要將一些事情綁上皇上，而是皇上的一些事情都綁上了嚴嵩，由此可見皇帝和嚴嵩的默契和信任是那些臣子所沒有的，而之所以在後來嘉靖皇帝會“倒嚴”，那是因為他自己知道，自己不可能償命百歲，還要給自己的兒子做鋪墊，其在最後沒有殺了嚴嵩，也是出於不讓替自己辦過事的人寒心，不讓那些大臣對皇室寒心。
