1972年我被邀請參加國慶觀禮團，應我的要求，被下放到幹校的五叔，被傳回北京與我見面。他那時還沒有脫離文革的厄運，但他多年後對我說，我的到來和要求同他見面，使他的狀況有所改善。
在潘公的安排下，我妻子也在1974年帶同兩個女兒，以「調幹」方式來香港工作，被安排在商務印書館編輯部，並有住房。對個人生活來說，這是很大的轉變。
搜尋資料得知，調查部是情報部門，那時直屬於周恩來。1983年這個部門整合到國家安全部。潘公原名潘柱，1916年出生香港，2000年在北京去世。他1938年參加共產黨，在日治時期擔任中共八路軍駐港機要秘書。電影《明月幾時有》所講的轉移大批滯留香港的文化人到內地的故事，實際負責轉移工作的就是潘靜安。潘公擅書法，篆刻，直到現在，他的書法手稿仍見之於拍賣市場。他在香港一個人獨居，沒有家屬。他待人寬厚，語言風趣，一點官架子都沒有。
我那時常去他辦公室談話，麗儀調來香港後，她與潘公更多接觸。到1975、76的文革後期，麗儀對中國的極左傾向不滿，常向潘公當面質疑，潘只是閉口不談。我認為他因為與周恩來、羅青長的關係，加上他國學根底深厚，對文革理所當然會有自己看法，但卻不能講出來。
1976年《七十年代》要搬遷，他親自去為我們謀劃地址，後來又為我們要成立的天地圖書搜集書法字體。1982年他調回北京，那時《七十年代》已經與左派割裂。在我決定要離開左派陣營時，他沒有找過我談話，我和麗儀也沒有問過他意見。他一生為中共效命，已寄命於黨，他不阻止我的脫離，我覺得已經很厚道和通達了。在麗儀調來香港的事情上，他是促成者，我感激和懷念他。他去世時，《大公報》前社長李俠文說：「潘靜安是共產黨幹部中的稀有品種，可以說是絕種了。」
圖說：潘靜安於1964年書曹操《卻東西門行》，句末是「狐死歸首丘，故鄉安可忘」。
失敗者回憶錄70：非蠢人合做蠢事
1955年，潘漢年曾經說過：「凡是搞情報工作的大多數都沒有好下場，中外同行都一樣。」
記潘靜安文後，有網友留言說，「他上司潘漢年就慘了。他就仲得到鄧文釗起番間靜安居紀念。」
靜安居位於中環伊利近街55號，是一座五層的樓宇，於1975年入伙，現在還有租售盤。它是鄧廣殷紀念在日治時期營救他父親鄧文釗一家離開香港到內地的中共負責人潘靜安而命名的。靜安居入伙時潘公仍然在港，我與他常見面，但未見他提起。相信因時在文革期間，他避免與資產階級置業扯上關係的緣故。
鄧文釗1906年生於香港，系出名門,曾祖父是有「打石六」之稱的香港開埠初年石業巨子鄧元昌,家族當年有很多物業。鄧文釗娶何捷書為妻, 何家是香港茶葉地產商，何氏係廖承志之母何香凝的侄女。鄧由此結識中共人士,出資支持共產黨。抗戰開始後，中共中央派廖承志赴港，設八路軍辦事處，鄧文釗騰出自己的進出口莊，做中共聯絡站，接收僑胞捐贈款物，支援中共。故日佔後，鄧文釗一家也要撤離。
