1980年2月29日，十一屆五中全會全體公報通過決定，“批準汪東興、紀登奎、吳德、陳錫聯四位同志的辭職請求，免除或提請免除四位同志所擔負的黨和國家的領導職務”。

自此之后，汪東興、吳德、陳錫聯進入中顧委工作，紀登奎進入國務院農村發展研究中心（農研所）工作，4人實際上離開中心，但還可以在一定程度上參與建言獻策。

陳錫聯的退休生活

在待遇方面，其余3人基本都是正部級待遇，唯陳錫聯有些特殊，因為他是中顧委常委，可以享受副國級的待遇，但實際差別并不明顯，主要在于陳錫聯家中有一個警衛排負責安保。1980年后陳錫聯主動要求減少人數，于是減為2個班，后來是一個班，直到陳錫聯去世。

陳錫聯擔任中顧委常委期間，主要負責的一項任務就是出席各種關乎軍事的紀念活動和開幕儀式，比如七七事變紀念碑落成，百團大戰50周年紀念活動，中央革命根據地成立的周年活動等等。

陳錫聯自己在回憶錄中寫過，1994年的時候，徐向前元帥的銅像落成揭幕儀式在太原舉行，中央委托他和其他同志去參加，當時陳錫聯身體不好，但他說：中央的委托我不能推脫，戰爭年代徐帥救過我的命，我就算搭上老命也要去。

除此之外，陳錫聯由于此前負責過體育方面的工作，也經常代表中央去出席參加一些在全國各地舉辦的運動會。

雖然已經不在軍隊工作，但作為一個戎馬半生的軍人，陳錫聯的交際圈主要還是軍隊的老戰友、老部下。他們逢年過節常常會互相走動，不變的話題就是戰爭年代的難忘回憶。

在個人愛好方面，陳錫聯喜歡釣魚，參加過很多釣魚比賽，并獲過不少獎杯。當時釣魚比賽的廠家都希望像陳錫聯這樣的老領導得獎，可以方便他們宣傳。陳錫聯也喜歡看電視，主要是看軍事新聞、戰爭片、武俠片和京劇。有時候看到電視里播報官員貪污的新聞，陳錫聯就會一邊看一邊罵：“該殺頭！該殺頭！”

據陳錫聯的子女回憶，陳錫聯的客廳里擺著一張毛主席的畫像，自從1973年擺上去后就再也沒有換過。

紀登奎的退休生活

紀登奎在4人之中的特殊之處在于，他是1923年出生的，退休時只有57歲，還算年富力強，所以他在農研所工作，擔任正部級研究員。

據紀登奎的兒子紀坡民回憶，十一屆五中全會前，即紀登奎還未辭職前，小平同志曾有意讓紀登奎管三件事：一是制定工資改革的方案，二是改革民航的工作，三是發展旅游業掙外匯。但紀登奎只接了最后一個任務，因為他認為“犯了錯誤的干部，不能擔事兒”。

在農研所工作期間，紀登奎也一直保持著低調的本色，每次發言都很簡單而且平和。但據經常接觸他的人說，他能感覺到退休之后的紀登奎內心并不平靜，有很多思考。紀登奎的兒子紀坡民的說法證實了這一點，他說父親生前想寫兩本書，一本是個人的回憶錄，一本寫自己從河南調到北京后的工作經歷。

由于紀登奎年紀還不大，他一直覺得自己將來總有時間動筆，所以就沒有著急下筆，結果1988年7月13日，紀登奎卻因為心臟病發作突然去世，成了4人之中年紀最小但去世也最早的人。后來，汪東興、吳德、陳錫聯的回憶錄相繼出版，偏偏沒有紀登奎的，這不得不說是一個歷史的遺憾。

吳德的退休生活

吳德退休的前幾年，就在北京東交民巷17號3號樓的房子里呆著，哪里也不去，當時17號院還有幾位老同志，吳德和他們很少來往，和在在吉林、北京的老部下接觸也不多，每天就是在家練書法，用瘦金體抄寫毛主席的詩歌，然后就是看看書，種種花。組織配給他的車，每年幾乎都不怎么加油，生活可以用“歸隱”來形容。

后來，中央的領導去他家看望他，說他可以去全國各地看看，看看改革開放，于是在女兒吳鐵梅的陪同下，吳德就去了西安、廣州、海南。

吳德也喜歡看新聞，主要是《新聞聯播》，有時候他看到新聞上播報一些官員貪污的消息，就會生氣地說：把電視關了！有一次，他和朋友聊天，聽到一些不好的消息，還專門跑到中紀委去發言。

吳德晚年賦閑后，在當代中國研究所同志的協助下，寫出了回憶錄《吳德口述：十年風雨紀事——我在北京工作的一些經歷》，此書在吳德去世8年后，在鄧力群的幫助下得以問世。這本書出版后，曾因為一些措辭引起吳桂賢的反對，此事已在之前文章中介紹過，在此不贅述。

據吳德女兒吳鐵梅回憶，吳德病逝后，治喪委員會的同志告訴他，吳德的葬禮是按照“比國家級領導人低半級，比部級領導人高半級”的規格舉辦的，即在副國級和正部級之間。

汪東興的退休生活

在4人之中，汪東興的職務是最高的，他退休前曾任十一屆政治局常委、中央委員會副主席。

據閻長貴回憶，汪東興退休之后“心很寬，想的開”，90歲大壽的時候，他曾在飯店請當年的老同事吃飯，大家都夸他身體不錯。然而，汪東興當時已經經歷過兩次大手術，其中一次切除了3/4的胃。

“心很寬，想的開”或許就是汪東興的長壽秘訣，另一秘訣是運動，每天都要散步，一開始每天走4000步，后來體力下降，每天走2000步。他在2015年以100歲高齡離開人世，成為4人中最后離世者。

汪東興退休后，從中南海搬到了西單六部口新壁街的一座四合院，這里距離中南海新華門只有不到3里，對面就是王震的住所。汪東興的生活低調安靜，據周圍的鄰居說，從來不見他們家開門。

但事實上，汪東興的家里常有人來拜訪，比如閻長貴、楊銀祿，據他們回憶，汪東興晚年常常談起毛主席，言談間充滿敬佩，有時候說著說著會流下眼淚。到去世前幾年，汪東興還在通讀《毛澤東選集》，以從中尋找問題的答案。

汪東興去世后，中央給他的《生平》是最長的，占了7頁A4紙，這主要是因為汪東興在歷史的特殊貢獻和地位。在談及汪東興六七十年代的工作時，《生平》寫道：汪東興“保護了一批老一輩無產階級革命家和民主黨派及無黨派人士”，“及時向周恩來同志和中央、地方、軍隊的其他領導同志傳達毛澤東同志講話精神，……做出了應有的貢獻”，“堅決執行黨中央政策，協助黨中央采取斷然措施……”

作為第十屆和第十一屆中央政治局委員中最后一位辭世者，外界評價，汪東興的逝世象征著一個時代的落幕。