1968年10月12日，頭發(fā)蓬亂、胡子拉碴的胡耀邦突然從“牛棚”被直接帶到京西賓館。他進門后，才吃驚地發(fā)現，這是讓他參加黨的八屆十二中全會。

這次會議是“九大”的前奏，根據章程全會決議必須經半數以上的中央委員表決才能通過，然而此時“八大”選出的九十七名中央委員中絕大多數已經被打倒，能夠出席會議的人不足半數。毛澤東提出“解放”幾個人，胡耀邦兩年多的囚禁生活才算結束。

就在這次會議期間發(fā)生了幾件事，引起代表們的震動：一件事是舉手表決通過永遠開除劉少奇黨籍的決定時，陳少敏竟然裝睡棄權；另一件是，大會休息中間，康生跑來跟胡耀邦握手，胡耀邦裝作沒看見，扭頭走了；還有，在一次小組討論會上，江青對胡耀邦說，你沒什么大問題，寫個檢討就行了，胡耀邦沒寫。

結果，他成了為數不多的落選九屆中央委員的人之一。 1969年5月，胡耀邦被下放到“五七干校”，過起了割稻、插秧的農村生活。

1972年1月10日下午，毛澤東出人意料地穿著睡衣趕到八寶山陳毅追悼會的會場。與此同時，有人注意到，在這天的報紙上，參加陳毅追悼會的一長串名單里，出現了胡耀邦的名字。這意味著胡耀邦已經得到 “解放”。

4月，駐團中央的兩個軍代表拿著起草好的《關于胡耀邦的審查報告》，來到富強胡同讓他簽字。胡耀邦對所謂的結論逐條反駁，拒絕簽字，工作的安排就被擱置下來。

1974年3月的一天上午，時任國務院副總理的紀登奎忽然登門造訪，勸胡耀邦再寫一次更 “深刻”的檢查。胡耀邦說：“該檢查的我都檢查了，沒有什么可說的了。”

第二天，從部隊回京探親的兒子胡德華把這件事說給總參一位將軍聽，那人說：“趕緊傳個話給你爸爸，讓他作個檢查，應付他們一下就沒事了，這樣好分配工作。”胡德華將原話帶回，胡耀邦卻淡淡一笑，說：“我才不會無限上綱，自己把自己罵個狗血淋頭，換個中央委員或候補委員當呢。 ”