《汉书》：数年，宣帝即位，征相入为大司农，迁御史大夫。四岁，大将军霍光薨，上思其功德，以其子禹为右将军，兄子乐平侯山复领尚书事。相因平恩侯许伯奏封事，言：“《春秋》讥世卿，恶宋三世为大夫，及鲁季孙之专权，皆危乱国家。自后元以来，禄去王室，政繇冢宰。今光死，子复为大将军，兄子秉枢机，昆弟诸婿据权势，在兵官。光夫人显及诸女皆通籍长信宫，或夜诏门出入，骄奢放纵，恐浸不制。宜有以损夺其权，破散阴谋，以固万世之基，全功臣之世。”又故事诸上书者皆为二封，署其一曰副，领尚书者先发副封，所言不善，屏去不奏。相复因许伯白，去副封以防雍蔽。宣帝善之，诏相给事中，皆从其议。霍氏杀许后之谋始得上闻。乃罢其三侯，令就第，亲属皆出补吏。于是韦贤以老病免，相遂代为丞相，封高平侯，食邑八百户。及霍氏怨相，又惮之，谋矫太后诏，先召斩丞相，然后废天子。事发觉，伏诛。宜帝始亲万机，厉精为治，练群臣，核名实，而相总领众职，甚称上意。
哪怕是宣帝杀霍光家人之前也不是没给过他们机会，宣帝听魏相言，开始明升暗降。但是他们还是选择谋反了。。。。。。而且带了这么多人。
光薨后，语稍泄。于是【上始闻之而未察】，乃徒光女婿度辽将军未央卫尉平陵侯范明友为光禄勋，次婿诸吏中郎将羽林监任胜出为安定太守。数月，复出光姊婿给事中光禄大夫张朔为蜀郡太守，群孙婿中郎将王汉为武威太守。顷之，复徒光长女婿长乐卫尉邓广汉为少府。更以禹为大司马，冠小冠，亡（无）印绶，罢其右将军屯兵官属，特使禹官名与光俱大司马者。又收范明友度辽将军印缓，但为光禄勋。及光中女婿赵平为散骑骑都尉光禄大夫将屯兵，又收平骑都尉印缓。诸领胡越骑、羽林及两宫卫将屯兵，悉易以所亲信许、史子弟代之。
禹为大司马，称病。禹故长史任宣候问，禹曰：“我何病？县官非我家将军不得至是，今将军坟墓未乾（干），尽外我家，反任许、史，夺我印绶，令人不省死。”宣见禹恨望深，乃谓曰：“大将军时何可复行！持国权柄，杀生在手中。廷尉李种、王平、左冯诩贾胜胡及车丞相女婿少府徐仁皆坐逆将军意下狱死。使乐成小家子得幸将军，至九卿封侯。百官以下但事冯子都、王子方等，视丞相亡（无）如也。各自有时，今许、史自天子骨肉，贵正宜耳。大司马欲用是怨恨，愚以为不可。”禹默然。数日，起视事。
显及禹、山、云自见日侵削，数相对啼泣，自怨。山曰：“今丞相用事，县官信之，尽变易大将军时法令，以公田赋与贫民，发扬大将军过失。又诸儒生多窭人子，远客饥寒，喜妄说狂言，不避忌讳，大将军常仇之，今陛下好与诸儒生语，人人自使书对事，多言我家者。尝有上书言大将军时主弱臣强，专制擅权，今其子孙用事，昆弟益骄恣，恐危宗庙，灾异数见（现），尽为是也。其言绝痛，山屏不奏其书。后上书者益黠，尽奏封事，辄下中书令出取之，不关尚书，益不信人。”显曰：“丞相数言我家，独无罪乎？”【山曰：“丞相廉正，安得罪？我家昆弟诸婿多不谨。又闻民间喧言霍氏素杀许皇后，宁有是邪？（霍山优点：有自知之明）】”显恐急，即具以实告山、云、禹。山、云、禹惊曰：“如是，何不早告禹等！县官离散斥逐诸婿，用是故也。此大事，诛罚不小，奈何？”于是始有邪谋矣。
初，赵平客石夏善为天宫，语平曰：“荧惑守御星，御星，太仆奉车都尉也，不黜则死。”平内忧山等。云舅李竟所善张赦见云家卒卒，谓竟曰：“今丞相与平恩侯用事，可令太夫人言太后，先诛此两人。移徒陛下，在太后耳。”长安男子张章告之，事下廷尉。执金吾捕张赦、石夏等，后有诏止勿捕。山等愈恐，相谓曰：“此县官重太后，故不竟也。然恶端已见（现），又有弑许后事，陛下虽宽仁，恐左右不听，久之犹发，发即族矣，不如先也。”遂令诸女各归报其夫，皆曰：“安所相避？”
会李竟坐与诸侯王交通，辞语及霍氏，有诏云、山不宜宿卫，免就第。光诸女遇太后无礼，冯子都数犯法，上并以为让，山、禹等甚恐。显梦第中井水溢流庭下，灶居树上，又梦大将军谓显曰：“知捕儿不？亟下捕之。”第中鼠暴多，与人相触，以尾画地。鸮数鸣殿前树上。第门自坏。云尚冠里宅中门亦坏。巷端人共见有人居云屋上，彻瓦投地，就视，亡（无）有，大怪之。禹梦车骑声正喧来捕禹，举家忧愁。山曰：“丞相擅减宗庙羔、菟（兔）、蛙，可以此罪也。”谋令太后为博平君置酒，召丞相、平恩侯以下，使范明友、邓广汉承太后制引斩之，因废天子而立禹。约定未发，云拜为玄菟太守，【太中大夫任宣为代郡太守（任宣作为被诛灭的家族之一，他的儿子在宣帝杀人后跑进孝昭庙砍人，没的说，整个孝昭庙的看守和士兵也被算进这数千家当中）】。山又坐写秘书，显为上书献城西第，入马千匹，以赎山罪。书报闻。会事发觉，云、山、明友自杀，显、禹、广汉等捕得。禹要（腰）斩，显及诸女昆弟皆弃市。唯独霍后废处昭台宫。与霍氏相连坐诛灭者数千家。

初，光爱幸监奴冯子都，常与计事，及显寡居，与子都乱。而禹、山亦并缮治第宅，走马驰逐平乐馆。云当朝请，数称病私出，多从宾客，张围猎黄山苑中，使苍头奴上朝谒，莫敢谴者。而显及诸女，昼夜出入长信宫殿中，亡期度。
可见霍家侵犯皇权之盛，连皇宫（主要是长信宫）都能想进就进，谋逆对他们来说也不是难事。

昭宣二帝的皇位非常符合继承法。依令：“无嫡子及有罪疾，立嫡孙；无嫡孙，以次立嫡子同母弟；无母弟，立庶子；无庶子，立嫡孙同母弟；无母弟，立庶孙。曾、玄以下准此。
卫太子起兵之后，卫太子父子皆被杀，且负子弄父兵罪（比谋反罪轻一些），且卫皇后被收玺授并赐死等同被废，于是无嫡孙。故而立庶子，而昭帝诸兄皆见黜于武帝，因此昭帝从庶变嫡，堂堂正正。
后来，昭帝驾崩户绝，上溯武帝系。武帝又无嫡孙，故以庶孙贺嗣位。因刘旦谋反全家被黜，且与霍光有杀父之仇，故不得立。刘胥又有诅咒昭帝之劣迹，霍光或碍于国体暂未处理，然刘胥一脉不立之义存矣。故武帝庶子庶孙皆不可立，遂只能立旧嫡曾孙病已。

说真的，周勃比霍光做的还过分，直接把惠帝全家都杀了，还栽赃惠帝被带了绿帽。但周勃对文帝非常恭敬，循规蹈矩明哲保身修身齐家，所以即便文帝想栽赃周勃谋反，周勃也能清清白白高位善终。讲真，如果不是周勃默许也不趟皇帝后宫的浑水，以窦小妾的家世和身份，根本做不了皇后。周勃想贵自己的女儿比霍光还要容易的多，窦小妾从一开始就只是妾，代王后又早死，中宫空缺。可惜霍光不是周勃。所以不要责怪宣帝心狠手辣，任何一个僭越君权的大臣都会被皇帝猜忌和谋害，正如文帝会栽赃周勃谋反，宣帝对霍光家族动手是每个明君对这种事情的职责所在，端看该大臣能不能循规蹈矩，适可而止。如果能，那么人心就会向着这位大臣，即便皇帝真成功了，那也是冒天下之大不韪。而如果这个大臣贪得无厌，那么天下人只会拍手叫好，最多顺便惋惜一下。所以，历史上并没有人责怪宣帝灭霍光家族反而拍手叫好，甚至也把宣帝承认霍光功绩看做宣帝以德报怨的胸襟。