卡特是美國史上最長壽的前總統，就連他自己也承認卸任後贏得的崇隆聲望超越在任期間。但卡特中心（Carter Center）2023年2月就已經宣布，時年98歲、與夫人羅莎琳（Rosalynn Carter）居住平原鎮（Plains）的卡特正在家中接受安寧照護，度過「剩餘時間」。
後來羅莎琳於同年11月19日去世，享耆壽96歲。她是卡特在任時，以及卸任後一起投身全球人道主義工作40年期間的最緊密顧問。卡特今年10月1日度過100歲生日，成為美國歷來唯一活到百歲高齡的卸任總統，並且在10月16日「透過郵寄投下選票」方式提前把總統選票投給賀錦麗（Kamala Harris）。
對於自己的總統政績，卡特2015年8月宣布罹癌後曾召開記者會，曾被問到回顧事業生涯有何遺憾，他坦承會反省他對伊朗人質危機的回應方式，因為當時美方援救被扣留在伊朗的52名美國人質失敗。1979到1981年，52名美國人遭伊朗革命政權拘禁444天。1980年4月，卡特派出突擊隊深入伊朗援救人質，卻接連遭遇障礙任務失敗，還折損兩架飛機和8名美軍。
卡特一直認為這個事件是他1980年總統大選敗給雷根（Ronald Reagan）的主要因素。他說：「我希望當年能多派一架直升機，我們就能夠把他們（人質）救出來，我也能夠當選連任。」對於與中華民國斷交，卡特1999年受國策研究院邀請首次訪台，時任桃園縣長的呂秀蓮曾當面對卡特表示，因為1978年斷交前，台灣正值重要選舉，反對黨原本可以參加，如果不是卡特政府決定與台灣斷交，台灣臨時取消選舉，台灣民主化過程將更順利。
呂秀蓮並強調，歷史的教訓應該被記得而不是被遺忘，「我原諒你的錯誤，你是否要道歉？」卡特毫不猶疑地表示，當年的美國與中國建交的決定是正確的，雖然這個決定對台灣人民不是「完全正面的」，他也很遺憾，但他不應負起這責任，20年來，台灣民主、人權、經濟都有長足改善，他無需為決定斷交向台灣及台灣人民道歉。
卡特對此表示，在當時的情況下，他必須做出那樣的決定；他也認為美國和中國關係的正常化，對於中國及亞太地區的和平的確有幫助。卡特還強調，《台灣關係法》（Taiwan Relations Act）內容是他自己仔細擬定的，送到國會之後，除了關於館產的一部分內容之外，幾乎是在沒有更動的情況下通過。
這樣的說詞當年引發官學界諸多批評，外交部當時回應，美國行政部門當年向國會提出有關台灣的綜合法案內容相當簡略，飽受國會批評，最後是在參、眾兩院通過多項修正案後，才經卡特總統簽署完成台灣關係法的立法。對於卡特說台美斷交有助台灣政經發展，當時的外交部長胡志強答覆立委質詢指出，卡特說法有「邏輯的荒謬」、「台灣的民主發展、經濟成就是我們自己努力的結果」，而區域的和平也不是美中建交的結果。
外交界人士批評說，卡特當年決定與中國建交，說穿了就是為了「美國自己的利益」，這是國際政治的現實考量，但卡特演講中卻把這個決定加上「人權」、「和平」種種「包裝」，讓人覺得是他是個「偽君子」、「政客」。其實美國與中國往來早在尼克森總統即已展開，尼克森1972年訪問中國，簽署聯合公報，開創兩國外交關係新紀元。卡特1977年擔任總統後，1978年利用美國國會休會期，於耶誕節前10天宣布和中國關係正常化，並全盤接受中國要求的對台「斷交、廢約、撤軍」三條件，嚴重傷害台灣的利益。
1979年1月1日，中華民國和美國正式斷交，當時的美國卡特政府也在同年1月底，提出一個非常簡單的法案，規範台灣和美國的非官方關係。但台灣國會重量級人士認為，卡特和中國建交的決策過程非常粗糙，也未取得中國不對台動武的任何保證，因此主張予以修正。在國會全面支持下，卡特提出的法案被大幅度修正，增加了許多對台安全保證，成為現行的「台灣關係法」 ，在1979年4月10日正式生效。
