却说袭遂去后，贺也不去留他，只急将史乐成等人，请入宫中。
展书阅看未毕，又乐得手舞足蹈，喜气洋洋的，昂头向天大叫道：
“老天，老天！我刘贺竟会做皇帝老子不成！”他痴痴呆呆的还要再说，他身边的一班厨夫走卒，闻得长安使至，召王嗣位，个个也是中毒一般，一哄而进地围着贺，要求跟着进京，弄个一官半职玩玩。贺见了这班牛鬼蛇神的仁兄，毫不讨厌，反而对他们说道：“大家都是开国元勋，当然带你们同去。”于是择定次日起程。
还是史乐成等人，看了这位新主身边的人物，太不成模样，只得问他道：“大王身边不是有一位净臣袭遂么，现在何处去了？”贺答道：“诸公问他么？他方才与我闹了一阵，辞职而去。”史乐成等人太息道：“这是不能准他走的！大王此次入都，单是中途招待迎送的侯王官吏，也有不少的酬应。袭遂为人，大家无不钦佩。所以臣等冒昧直言，务请大王将他召回同行。”贺听了，心里虽然不甚高兴，惟恐得罪来使；若被他们掉个枪花，不要弄得到手的皇帝，不着杠起来，那还得了。没有法子，只得忍气吞声地去把袭遂召回，好言劝慰一番。袭遂听了，便与王吉二人，合缮一书，叩马进谏，大略举殷高宗故事，叫他谅阁不言，一切国政，全归大将军处决，幸勿轻举妄动等语。
贺看了之后，假装称赏不置，立时同了大众急急登程。他一个人仍是骑着他所蓄的那匹大马，把粗一提，用出平生绝技，一口气跑了一百三四十里；回头看看从人，却没一个影子。其时已到定陶，他无奈只得入释等候。直至晚上，一班朝使，以及随从诸人，方始赶到，都言马力不足，沿途倒毙甚多。原来各释所备马匹，寥寥无几，总道新主入都，从吏不过百人。哪里知道贺手下的幸臣，已有七八百人之多。再加幸臣手下的幸臣，也有数百。释中一时不能凑数，只好把所有的劣马病马，统统献出。劣马病马，如何追得上贺的良骏？沿途倒毙，本是意中之事。谁知贺的幸臣，狐假虎威，不胜骚扰。
史乐成等人，心中虽不为然，究竟因是新主，不便多言。仍是袭遂在旁看不下去，力请贺减少随从。贺倒应允。但是那班幸臣，个个都想攀龙附凤，谁肯中道折回？袭遂左右为难了一会，竟会作主，挑选一百余人，准令随行，其余人等，伤令自由入都，不得在此喧哗。
这样一办，次日方能成行。及抵济阳，贺忽然要买长鸣鸡、积竹杖起来。因为这二物，是济阳的著名土产。其实于贺毫无用处，无奈这位新天子一定要办。还是袭遂再三带骗带劝，总算只买了长鸣鸡一百只，积竹杖二百根，邀程再行。晚宿弘农，贺已沿途望见美貌民女，不胜艳羡。暗使大奴善物色佳丽，送入绎中。大奴善奉了贺命，便将民间妇女，稍有姿首的，强****车，用帷遮着，驱至释舍。贺如得异宝，顺手欺着便奸，也不问她们愿与不愿。可怜那班村姑乡妇，怎敌得这位遇缺即补皇帝的威力，只好吞声饮泣，任其所为。
事为史乐成等所知，便怪昌邑相安乐，为何不加谏阻。岂知安乐是个拍马好手，那敢去扫新主的兴致，仍去转告袭遂，要他来作凶人。袭遂原是硬汉，并不推辞，自然入谏。贺也自知不合，极口抵赖。袭遂正色道：“大王果无此事，这是大奴善的妄为了，罪有应得，由臣将他处治．”大奴善系官奴头目，故号大奴。当时立在贺侧，即由袭遂亲自动手，把他拉出，付与卫弃正法。并将所有妇女，各给十金，遣回原家。案既办了，又启行至谓上。距离都城已近，早有大鸿等出郊远迎，恭请贺改乘法驾。贺乃换乘龙肇，使寿成御车，袭遂参乘。行近广明东都门，袭遂向贺陈请道：“依礼奔丧人都，望见都门，即要举哀。”贺闻言，托词喉痛，不能哭泣。再前进至城门，袭遂复申前请。贺尚推说城门与都门相同，且至未央宫东，举哀未迟。
及入城，到了未央宫前，贺面上只有喜色，并没戚容。袭遂又忙指示道：“那边有棚帐设着，就是大王的坐帐，赶紧下车，向网府伏，哭泣尽哀。”贺至此推无可推，方始一跳下车，步至帐前，伏在地上，俯首无闻，算在举哀。礼毕入宫，先以侄礼见过上官皇后。这位侄子，倒比她大着数岁。当下由上官皇后下谕，立贺为皇太子，择吉登基。贺自入宫至即位，幸有袭遂耳提面命，总算尚无大错。便尊上官皇后为皇太后。又过数日，将昭帝奉葬平陵，庙号孝昭皇帝。
贺即登位，拜昌邑相安乐为长乐卫尉；此外随来的一班幸臣，统统授为内臣。一天到晚，仍与内臣游押；一见美貌宫女，立刻召入俏酒侍寝；又把乐府中的乐器，悉行取出，叮叮咚咚，闹个不休。一夕，贺正与一班内臣喝酒，内中有一个名叫项能恭的悄悄地对贺说道：“现在朝廷大权，全操霍光之手。皇太后乃是霍光的外孙女儿，年仅十五，业已守寡。陛下若能向她挑逗，此关一通，便可把霍光革职，陛下就好为所欲为了。”贺听了连连摇首道：“此人面有麻斑，只有那位孝昭皇帝，会赏识她，朕却不中。”
谁知可巧被袭遂亲耳听见，顿时一把将项能恭揪住，大骂道：
“你这丧心病狂的东西，竟会说出这样大逆不道的言语出来！”项能恭还想贺去救他。说时迟，那时快，早被袭遂拔出佩剑，手起刀落，项能恭的尊首，已与肩脚脱离关系。贺见了，也会吓得大喊饶命。袭遂一面插入手中之剑，一面伏地大哭道：“陛下不改劣行，臣等死无葬身之处矣！”贺也惭愧不逗，不过事情一过，仍复荒唐如故。
大将军霍光，本是此次推戴最力的一个人，眼见贺如此荒淫无道，深以为优，每与大司农田延年熟商善后方法。延年道：“将军身为柱石，既然失检于前，何不补救于后？只要入白太后，另选贤君，也不为晚。”霍光慑道：“古来曾有此事否？”延年道：“从前伊尹相殷，尝放太甲至桐宫，藉安宗庙，后世称为圣人。今将军能行此事，就是汉朝的伊尹了。”霍光听了，乃握延年为给事中；并与张安世秘密计议废立大事，其外并无一人得知此谋。
又过几日，贺梦见蝇矢满阶，多至五六石，有瓦筱着，醒来又问袭遂，主何吉凶。袭遂道：“陛下尝读过《诗经》，诗云：‘营营青蝇，止于樊。恺佛君子，毋信谗言！’今陛下婴悻甚多，正拟蝇矢丛集，因此有这梦兆。臣愿陛下摈绝昌邑故臣，臣应首先告退！”贺听了，似信不信地道：“从前在昌邑时候，种种梦兆，君谓不佳，朕何以已为天子？大家既是赞成你的为人，朕也不便放你回家立于朕身边的臣众，他们又不谈及国事，何必去理睬他们呢？”说完之后，就把此事丢开。
次日，大仆张敞，也来进谏。贺以嬉笑出之。言尚未已，光禄大夫夏侯胜因来奏事，奏毕也谏道：“臣见久阴不雨，臣下必有异谋，陛下不可不防。”贺听了大怒，斥为妖言惑众，立命发交有司究办。
有司告知霍光，霍光不禁暗暗起疑道：“夏侯胜语似有因，或由张安世泄谋，也未可知。”即把张安世召至，面加洁责。张安世道：“此是何事，我怎会与他言及秘密？可以面质！”霍光亲提夏侯胜研讯。夏侯胜从容答道：“《洪范传》有言：‘皇极不守，现象常阴。下人且谋代上位。’我不便明言，故仅云臣下有谋。”霍光当下听了，不觉大惊；一面将夏侯胜官还原职，一面与张安世密议道：“此事不能缓了！”
即命延年往商相杨敞。杨敞听了，顿时吓得面如土色，汗下似雨，不敢允诺。倒是杨敞妻子，为司马迁之女，颇有才干，攀廉而出，语延年道：“大将军造君来商此事，乃是不弃我们，请即复报将军，我们准奉教令。”延年返告霍光。
霍光即令延年、安世二人，缮定奏簇，妥为安排。翌日，至未央宫，传召相、御史、列侯，及中二千石，大夫博士，一同入议，连那位不肯抗节重归故国的苏武，亦令与会。群僚不知何故，只得静听大将军发言。霍光一见大众均已到齐，便大声道：“昌邑王行迹昏庸，恐危社被；诸君都是食禄的臣子，可有甚么高见？”大家听了，方知是这个大问题，个个人把眼睛望看霍光的那一张嘴，想听下文；心里呢，莫不存着但凭吩咐四字罢了。霍光一见众人不肯首先发言，又对众人道：“这是国家大事，应该取个公论。”当下田延年奋然起座，按剑上前道：“先帝以社稷托付将军，授以全权，无非深知将军忠心为国，能安刘氏。今群下鼎沸，譬诸大厦将倾，将军若不设法维持，试问有何面目见先帝于地下？”
霍光正要答语，陡见由宫内奔出一个赤体光身的宫女，向他扑地跪下道：“奴名苏馥，曾为先帝幸过。今皇帝不顾奴的节操，强行奸污。奴因一个弱女子，力不可抗，此刻乘隙逃出，察知将军。奴死之后，没有脸去见先帝，乞将奴面蒙上一布，奴心方安。”说完，就用手中所藏的一把绣花小剪，向她喉中一刺，顷刻之间，飞出一股鲜红，死于殿上。
霍光一面急命左右，把苏馥的尸身拖下，好好安葬；一面对大众道：“即此一端，废之已有余。”大众一见延年按剑而走，声势汹汹；又见贺的行为果也不对，大家若不相从，必遭杀害，何苦要替贺来做死忠臣呢？于是个个离座向霍光叩首说道：“社樱人民，全系将军；大将军苟有主张，臣等无不遵从。”霍光乃将大众请起，袖中拿出奏赎，先请相杨敞署名，其余次第署毕，便引大众至长乐宫，入白太后，陈明昌邑王贺无道，不应嗣位的情形。可怜这位太后，年才十五，懂得甚事，自然是以霍光之言，惟命是从了。
霍光又请太后驾临未央宫，御承明殿，传诏昌邑故臣，不准擅入。那时贺闻太后驾到，不得不入殿朝渴。但因酒醉过甚，由宫娥搀扶而行，朝毕趋出，退至殿北温室中。霍光走来指挥门吏，速将室门关闭。贺张目间霍光道：“关门何为？”霍光跪答道：“太后有命，不准昌邑群臣入内。”贺摇头道：“这也不必如此急急，让朕慢慢地打发他们回去便了。”霍光也不与他多言，返身趋出。
此时已由张安世率领羽林兵，把昌邑群臣拿下，约有四五百人，连袭遂、王吉也在其数。霍光又将昭帝旧日群臣召入，责令把贺监守，毋令自尽，致负主恶名。贺真昏愤，到了此时，还没有知道废立情事。一见新来侍臣，尚问道：“昌邑群臣，究犯何罪，却被大将军全行驱逐？”侍臣不便明言，只推不知。稍间，就有太后诏至，立传贺去问话。贺至此方才有些惶恐起来，问诏使道：“朕有何罪，乃烦太后召我？”诏使也含糊答应。贺只得随之来见太后。只见太后身服珠糯，端坐武帐之中，侍卫森立，武士盈阶，犹不知有何变故，战战兢兢地跪下，偷视太后之面。
这时已有尚书令捧着奏犊朗声宣读道：
丞相臣杨敞、大司马将军臣霍光、车骑将军臣张安世、度辽将军臣明友、前将军臣韩增、后将军臣赵充国、御史大夫臣蔡义、宜春侯臣王谭、当涂侯臣魏圣、随桃侯臣赵昌乐、杜友臣屠者堂、太仆臣杜延年、太常臣门昌、大司农臣田延年、宗正臣刘德、少府臣史乐成、廷尉臣李光、执金吾臣李延寿、大鸿臣韦贤、左冯翎臣田广明、右扶风臣周德、故典属国臣苏武等，昧死言皇太后陛下：自孝昭皇帝弃世无嗣，遣使微昌邑王典丧，身服斩衰，独无哀悲之心。在道不闻素食，使从官略取女子，载以衣车，私纳所居馆舍。及入都进渴，立为皇太子，尝私买鸡豚以食。受皇帝玺于大行前，就次发玺不封。复使从官持节，引入昌邑从官二百余人，日与敖戏，且为书曰：皇帝问侍中君卿。
使中御府令高昌，奉黄金千斤，赐君卿娶十妻。又发乐府乐器，引纳昌邑乐人，击鼓歌吹，作俳优戏。至送殡还宫，即上前殿，召宗庙乐人，悉奏众乐，乘法驾皮轩弯旗，驱驰北宫桂宫，弄斗虎。召皇太后所乘小马车，使官奴骑乘，游戏掖庭之中，与孝昭皇帝宫人蒙等****。诏掖庭令敢泄言者腰斩。
上官太后听到此处，也不禁大怒，命尚书令，暂行止读，高声对贺道：“为人臣子，可如此悖乱的么？”贺听了，又惭又惧，退膝数步，仍然俯伏。
尚书令又接续读道：
取诸侯王列侯二千石缓，及墨缓黄缓，以与昌邑官奴。发御府金钱刀剑玉器采增，赏赐所与游戏之人。沈酒于酒，荒酞于色。自受玺以来，仅二十七日，使者旁午，持节诏诸官署征发，凡一千一百二十七事，失帝之礼，乱汉制度。臣敞等数进谏，不少变更，日以益甚。恐危社程，天下不安，臣敞等谨与博士议，皆日：今陛下嗣孝昭皇帝后，所为不轨，五辟之属，莫大不孝。周襄王不能事母，春秋日：天王出居于郑，由不孝出之，示绝于天下也。宗庙重于君，陛下不可以承天序，奉祖宗庙，子万姓，当废。臣请有司以一太牢，其告宗庙。谨昧死上闻！
尚书令读毕，上官太后单说准奏二字。这还是她的外公霍光教导她的。
当下霍光便令贺起拜受诏。贺急仰首说道：“古语有言，天子有净臣七人，虽无道，不失天下。”霍光不待说完，即接口道：“太后有诏废王，怎得倘称天子！”说完，忙走至贺身边，代解玺缓，奉与太后，便命左右扶贺下殿，出金马门，群臣送至网外。贺自知绝望，始西向望胭再拜道：“臣愚慧不能任事。”言罢乃起，自就乘与副车。霍光亲送入昌邑邸内，才向贺告辞道：“王所行自绝于天，臣宁可负王，不敢负社樱，愿王自爱臣此后不能再侍左右了。”说罢，涕泣而出。群臣复请治贺应得之罪，太后便把贺下入监狱；昌邑诸臣，陷王不议，一概斩首。只有郎中令袭遂，中尉王吉，因曾谏贺，得减轻凳为城旦。
贺入了监狱，又知昌邑群臣，个个斩首，至此方始懊悔起来，掩面大泣道：“我的性命，恐怕难保了。”连哭三日三夜，泪尽见血。当夜复得一梦，梦见一双燕子，只在他的面前呢喃，醒来告知狱官，要他答出吉凶。狱官听了，敷衍他道：“燕子应归故垒，大王或者蒙赦，仍回昌邑，也未可知。”贺听了悲喜交集地道：“我若能回返故土，那就心满意足，再不去与昌邑群臣游戏了。”狱官道：“昌邑群臣，早已弃市，大王怎会再与他们游乐呢？”贺失惊道：“不错，不错他们都死了！我一时忘记，故有此言。”
不言贺在监中，日望赐回故土之诏。单讲霍光既废了贺，自知从前冒昧，并未先行察访贺的平日为人，贸然便把他立为新君。现在朝廷无主，只有四面的打听刘氏的贤裔。一天与光禄大夫丙吉，谈完国事，猝然问道：“君知刘氏后人，何人最贤？”丙吉答道：“我妻素号知人。她在将军迎立昌邑王贺的当口，曾经谓我道：‘武帝曾孙病己，现年十八岁，通经术，具美材，且有孝行，比起昌邑王来，真有天壤之别，大将军今乃舍贤立劣，是何用意？’”霍光听到此地，不待丙吉说完，连连地跺足道：“君夫人人称女中丈夫，果然名不虚传。此事怪君，何以不先告我？”丙吉道：“此刻提及此人，也不算迟。”霍光摇首道：“已经多此一段麻烦了，现在既有这位贤人在此，老夫即当奏知太后，请她定夺。”正是：帝位既为私有物，刘家以外自无人。
