1959年，這一年的9月30號，彭老總被罷免了官職，搬去了北京吳家花園居住。這吳家花園，據說是當年吳三桂專門給陳圓圓修建的一處宅子。這個地方環境很不錯，毗鄰著頤和園，少有人往來，很是安靜。

一生忙碌的彭老總，自打搬進吳家花園以后，也在這里過上了難得的清閑日子。
他在這吳家花園生活了差不多五年的時光，當時墻外的風云波濤洶涌，但是在這吳家花園里面的彭老總，享受著難得的安靜日子。
他在宅子里尋摸出一塊土地出來，在這里種了一些蔬菜和瓜果，還養了一些花花草草。每天，警衛員都能看到老總，在這小塊方寸之地侍弄著他的閑暇時光。
雖然表面上看著很是閑暇悠閑，但是，誰能知曉老總心里的苦悶和憋屈呢。
警衛員時常會看到這樣的一副光景，他在院子里一個人安靜的走來走去，也不知道他的心里在想什么。看著他在院子里孤單的身影，警衛員的鼻子也是一酸，心頭爬上莫名的酸楚情緒。

也是在這吳家花園里，1962年的六月，彭老總寫了一封書信，這封書信長達八萬多字。字字都是他的肺腑之言，字里行間也是他的忠誠。
兩年后，也就是1964年的11月28號，彭老總離開了吳家花園，去到成都，擔任西南三線建委第三副總指揮的職務。
那一年，他已經67歲了，去到成都以后，他也再沒回過吳家花園了