蔣介石接到吳國楨的辭職信後，並不相信他真的生病，以為他只是想逃離上海，所以派蔣經國到上海去勸吳打消辭意。蔣經國發現他確實是病了，回去向他父親彙報，蔣介石派飛機將吳接到奉化溪口，親自面見，目睹他的病容後才准他辭職。
吳國楨決定辭職，除了生病之外，與京滬杭警備總司令湯恩伯，憑藉槍桿子干涉市政也有關。蔣經國奉命到上海的另一項任務是「調解吳與湯恩伯總司令間之軍政隔閡。」（《事略稿本》，79：205）在溪口，從吳國楨口中，蔣介石無疑也瞭解到他所信賴的京滬杭警備總司令在上海浮報部隊員額以吃空缺，以及他的司令部在黑市倒賣汽油的情形。蔣介石問吳上海能守多久，吳的回答是一個月，那是儲存的糧食燃料所能維持的時間。蔣介石聽後面色蒼白，不發一語。
吳國楨在市長任內，頗得民心擁戴。根據上海《申報》報導（1949.3.26），吳請辭的消息最初傳出時，市參議會 44 位議員在議長潘公展的帶領下，前往市政府勸他打消辭意，有議員甚至直言「不能放吳市長離滬」，吳表示他確實是病體難支，「力疾從公不是毀滅自己，就是耽誤公事……」語畢，他「竟已淚痕縱橫，哽咽不能成聲。」（歐世華，1999：32）議長潘公展仍建議他可暫時請假，不要輕言辭職。
蔣介石把吳國楨的辭職改成病假，讓他到臺灣去休養。吳與妻子到杭州短暫停留後，一家人到了臺灣。他們抵臺的時間是 1949 年 4 月 17 日，4 月 21 日共產黨部隊度過長江，5 月 26 日上海失守。
國民黨「應該責備自己」
在吳國楨和家人離開上海前後的一段時期，由於時局紛亂，麥考米克夫婦似乎與吳家失聯，並為此感到焦慮，他們擔心吳家的下落（Wu/McCormick，1949.5.18）。吳國楨在最初向行政院遞上辭呈後，1949 年 3 月 28 日曾去信麥考米克，談到他辭職的事。他的緬甸熱（瘧疾）發作，三年的艱難工作也使他健康大損。他提到上海的民眾和輿論不願他辭職，雖然在經合署與市府的合作下，上海在三個月內還有足夠的糧食。信中也說他和妻子打算到杭州小住。
麥考米克寄到上海市府的回信是在幾乎一個月後的 4 月 27 日發出，他很高興吳「已離開那個非常危險的職位」（Wu/ McCormick，1949.4.27）。吳國楨似乎沒有收到這封信。他的下一封信（1949 年 5 月 8 日）是從臺北杭州南路發出的。顯然，在「美麗的島嶼臺灣」恢復了健康的吳國楨，腦子裡盤算的是如何能讓麥考米克幫忙去做「對我國有重大影響的事。」
