霍光乘车来到了右将军张安世的府邸，在此之前，他另派了仆人去通知了另外一人让他也赶到右将军府，这个人便是给事中田延年。
由于事关机密，张安世特地把密谈的地点选在了府内藏书阁中，并把附近的仆人都打发走了。
三人一道步入阁中，在席子上坐定。然后霍光缓缓开口道：“今日找你们来是因为皇帝的一封诏书！”霍光说着从袖中拿出一卷竹简，递给张安世。
这封奏书正是皇帝刘贺下达的给霍光放假三个月的奏书。张安世看过之后，面色大惊，又把他递给田延年。田延年迅速看过之后，脸色如常，又把它还给了霍光。
“大将军，此事非同小可啊，陛下奏书里表面上说是念你多年操持朝政辛苦，放你三个月假，可实际上就是想调虎离山，趁此机会夺取您所掌握的军队！”张安世先说。
“我看这只是他的第一步，这接下来就是罢免大将军的官职，重新任命自己的人取代大将军，然后就是对付右将军和杨丞相，再之后就是杜太仆乃至整个三公九卿，总之圣上是想把整个朝廷换成他们昌邑国的人，这咱们绝不能忍！”田延年说道。
“可他已经是皇帝了，不能忍，又能如何，普天之下，莫非王土，率土之滨，莫非王臣！这天下都是他的，我们这些做臣子又能如何！我今天来找你们，就是想告诉你们，我打算明日向陛下上书辞官，告老还乡，免得陛下忌惮！”霍光淡淡地说。
“不可，大将军，此事万万不可！大将军是朝廷的脊梁，这些年朝廷能平稳运转多亏了大将军的领导。大将军若不在，那朝廷百官何以自处啊！”张安世道。
“你说的有理，可是自古有云功高震主，我对朝廷越是功劳大，陛下便越是忌惮。既然君臣不能一心，那我做臣子的便应当主动隐退，以免朝廷动荡！”霍光说道。
他脸上的神情萧索落寞，仿佛真的已经准备好要退隐山林似的。
“大将军为何如此颓废？君臣不能一心，自不能长久相处，可为什么是大将军你隐退呢？当今陛下即位不过十几天，你看他都干了些什么事，终日饮酒无度，与一帮昌邑国来的市井混混宫中歌舞升平，甚至还调戏先帝的宫女，对大臣们的劝谏也充耳不闻。如此不忠不孝不义之徒，若要让他继续做皇帝，天下还不知道要成什么样子呢！”田延年说道。
田延年说完，霍光和张安世都没有开口，都只是望着田延年在等他接下来的话。
田延年舔了舔喉咙接着说：“当年孝武皇帝临终前将先帝托付给了大将军，也即大汉江山社稷托付给了大将军，如今先帝也去了，新帝肆意妄为，如果大将军放任不管，消极避世的话，大将军有何颜面去面对先帝，更有何颜面去面对孝武皇帝呢？”
田延年说完，张安世点头表示赞同，霍光却是抿着嘴，一脸凝重闭目不语，似在思索也似在做着什么艰难的决定。
过了片刻，霍光才猛然睁开眼，问道：“那田大人的意思是？”
“废掉庸主，另立贤君！”田延年一拂袖子，满脸严肃地说道，他的语气坚定斩钉截铁，不容人质疑。
霍光听后眉头紧皱，摇摇头说道：“此计太过冒险，且不说可不可行，单说就算我们废掉了刘贺，那该选谁做接着皇帝之位呢，此外，身为大臣废掉皇帝，此乃以下犯上之举，我若行此事，那天下百姓会怎么看我，百年之后后世之人又会如何看我？他们会说我霍光是乱臣贼子，贪恋权势。”
听了霍光话，张安世也是一脸凝重的点点头，显然他也是认同霍光话的道理。
霍光和张安世一齐把目光投向田延年。
田延年的官职不过给事中，乃朝廷中一谏官，和霍光、张安世两人的官职和权势相去甚远。
不过此人有勇有谋，饱读诗书有勇有谋，做事雷厉风行，颇有刚病逝不久的前京兆尹隽不疑的遗风。因此和霍光认识没多久，他便被霍光引以为心腹。
此时面对朝廷两大权臣霍光和张安世的目光，田延年毫不紧张，他面带微笑，向二人深施一礼，然后自信从容地说道：“大将军手握天下军权，选择明主安抚社稷乃孝武皇帝授予大将军之职，大将军责无旁贷。”
“大将军只要等刘贺不在宫中之时，以辅政大臣的名义召集三公九卿及各司长官，在京王侯一起开会，列举刘贺种种不轨之举，再表明想废除刘贺另立明君的立场，三公九卿们自然会领会将军的良苦用心，支持将军。”
“然后”田延年转过身来下巴上那一小撮漂亮的胡子说道：“大将军可以现场拟一份意向书，让在场的百官签字，然后上交给太后娘娘。太后乃大将军之外孙，必能依大将军之意发布废帝诏书！”
“那要是有人不肯签字呢？”张安世问。
“那田某就效仿古之义士荆轲，让他血溅当场！”田延年道。
田延年说话时，他的眼睛亮着光芒，仿佛那里也藏着把剑，一把能让人血溅当场的剑。
霍光一向钦佩田延年的胆略，所以这次讨论如此机密非常之事时，特意请来了只是给事中的田延年。此时他听了田延年的话，也不禁点头称赞。
“好，不愧是胆略过人的田大人，颇有古代义士之风啊！”霍光说到这里，话音一转，咂着下嘴道：“依田大人之言，此计可行，可是新帝的人选，还有天下的议论又当如何？”
田延年听了笑着说：“高祖创立大汉至今已有一百三十余年，刘姓的宗族子嗣还算少吗？大将军眼下最重要的便是废了刘贺，至于立谁为新帝，等废了刘贺，大将军自可与百官商议嘛！”
“至于朝野之议论，商代名相伊尹曾因国君太甲暴虐无德，不尊汤法，而流放太甲于桐宫。世人不但没有非议伊尹的行为，反倒称颂其为贤相！”
“如今，刘贺放浪无度，在宫中胡作非为，朝中百官已是怨声载道，大将军若相仿伊尹废黜刘贺，我想天下人非但不会说大将军专权，反倒会称颂大将军的贤明果决！”
“妙，妙！”霍光拍手称赞道，“田大人果然见地非凡，听君一席话，胜读十年书。既然新君如此不成气候，我霍光就听君之言，行伊尹之事！”
第二天皇帝放霍光休假的消息便在朝中传开了，群臣都是议论纷纷，不断有人来霍府拜访探望。可是霍府大门一直紧闭着，任凭谁人上门，那看门的仆人都是同一句回话：霍大人病了，在家养病，不见任何人。