其实霍光是留有后手的，他一直没有让刘贺去拜祭高祖庙宇，就等于程序上还没有正式确定你刘贺是天子，因此要废他只需太后一到诏令便可了。
霍光正式显示出太多果断，看着赖在地下不起来的刘贺，自己亲自上前抓住刘贺的手，将他身上佩戴的玉玺绶带解下，然后献给皇太后。
而后又命左右扶刘贺出殿，直出金马门，群臣随后送出。到了宫外，刘贺自知无望，西向望宫门下拜，大声说道：“愚戆，不任国家大事。”
拜毕起立，早有侍臣指引他上马车。这时，刘贺看到所坐乃是副车，并无旌旗仪仗，只有吏卒数十人，前后随从。哎，现在休说他的御驾不知去向，此马车尚不及在昌邑为王时出门那种荣耀。
刘贺垂头丧气，坐在车中，在回昌邑邸第的路上，所过之处，但见两旁人众拥挤不开。原来废立之事，已传遍长安城中，百姓闻信，皆扶老携幼，争来观看，万头攒动，个个都摇头说道：“此是被废天子，人人心中替他难以为情。”
霍光率众人送刘贺出了宫门，看他上马车的消沉样子，心想，刘贺此去难保不羞愤自杀，或是他人要想向我讨好，将他逼死，因此放心不下，便坐车亲自送来。到了昌邑邸前，刘贺下车入内，霍光也随之入内，忙交代邸中众人要小心伺候昌邑王。
临别前，霍光向刘贺辞道：“昌邑王您所行自绝于天，臣等驽怯，不能杀身报德，臣宁负昌邑王，不敢负社稷，愿您自爱，臣从此不得再见于左右。”霍光说罢，不觉伤心，只见他也是满脸泪光。
这是唱哪出啊，真是鳄鱼也流泪。
刘贺既然被废了，那他将如何安放呢？首先当然是不能杀掉他，他虽然做了一千多件坏事，但是也不至于被处死。不过他的昌邑国旧属就没那么幸运了，那他在宫外被张安世率领羽林军所逮捕的那些旧属，个个都被处理掉了，可怜这些人，千里迢迢跟随刘贺过来长安，本想享受荣华富贵，谁知个个却变了刀下鬼。
这时有人奏请上官太后，提议将刘贺流放，说是古时对废黜的君王，都是流放到边远地区，远离政治中心的，因此建议把刘贺流放到汉中郡的房陵县。其实上官太后人还是挺好的，她念及刘贺乃刘弗陵的侄子，武帝的亲孙子，而今皇帝也做不成了，不应该让他再受苦。于是上官太后决定将刘贺废为平民，送回昌邑国，食邑二千户，而之前赏赐的东西都留给刘贺，昌邑国的财产也都通通归刘贺所有，再加上刘贺在宫里这二十七天所拿的财宝也都让他待会昌邑国，这样，刘贺便成了名副其实的富翁了。
昌邑国既然被除，又归山阳郡管辖。
这位刘贺后来又被封为海昏侯，他的金银珠宝在他死后都通通的被带入他的陵墓，一直到两千年后，他的陵墓才被掘开，里面的奇珍异宝真的是不计其数。
这是后话。
......
刘贺既然被废，霍光他们只好请上官太后再移驾未央宫，暂时主持朝廷大事。霍光还请那位在直城门拦刘贺出宫，并且引经据典地劝谏刘贺说有下犯上的世故发生的光禄大夫夏侯胜做上官太后的老师，叫她《尚书》。名义上是这样的，但实际上，上官太后乃是霍光的外甥女，因此朝廷大事实际都是霍光在把持。
朝廷又将废刘贺的诏书下到各郡县，当然广陵王刘胥也是收到废黜诏书，这可乐坏他了。心想，这个李女须仙姑确实灵，真乃神仙，竟然可以诅咒两位皇帝，一位过身，一位被废，现如今皇帝之位空缺，按理应该轮到我广陵王了。
刘胥立马让人传召李女须过来王府，有事要跟她商议。
李女须得知刘胥传召她的消息，立马赶过来王府。只见刘胥亲自在王府门前迎接她，这阵式，委实让她吓了一跳。不过冷静下来后，聪明的李女须忽然间知道什么事了，莫非朝廷又生变故？
刘胥见到李女须过来，忙笑呵呵地迎上去，竖起拇指头由衷赞道：“仙姑，真乃神仙也！”
李女须加装吓了一跳，忙说道：“大王，何事让您这么高兴，还亲自出来迎接民女。”
“什么民女，你哪是人啊，你是神仙啊，哈哈。”
刘胥依然一副乐呵呵的样子，李女须更加惊奇，忙说道：“大王，我法术还不够精通，还没到升仙的境界呢。”
刘胥笑道：“仙姑，不瞒你说，上次你说可以诅咒那位昌邑王，让他做不成天子，如今还真的被你诅咒到了，他真的被废黜了，只做了二十七天的皇帝，却做了一千多条坏事，于是被上官太后下诏废黜掉了，哈哈，你说得真准，真神仙。”
李女须终于明白了，原来是昌邑王刘贺被立为天子湖，不到一个月就被废黜了，上次我只不过是顺便说说，说他肯定做不了多久天子，本想骗几个银两，没想到却被我猜中了，看来运气还不错。
李女须越想越得意，但是，精明的她知道此刻一定要矜持，矜持住，不要表现得意忘形的样子，于是想笑却不敢笑，只能假装很镇定。
李女须镇定地说道：“这些天来我日日夜夜地诅咒他，诅咒他被废掉；前几天夜里忽然做了一个梦，梦见我师祖茅仙，我就跟他说，让他回去找武帝，要武帝履行他的承诺，于是师祖答应回去找武帝，跟他说这件事，没想到武帝还真的不食言，恭喜大王，贺喜大王，看来你的机会来了，该准备准备了。”