對於安倍晉三「怕鬼」的傳言，朝日電視台〈你還不知道的世界〉節目曾經聊到，安倍晉三在2012年10月1日回任首相後，卻遲遲沒有搬進公邸，因此遭到國會議員質疑「難道官邸鬧鬼就是安倍首相沒有搬進官邸的原因嗎」？不過安倍晉三當時的回答是：「我不清楚有任何幽靈出現的事。」節目中也提到，戰後第一個搬進官邸居住的日本首相是安倍晉三的外叔公佐藤榮作，當時曾請來山王日枝神社（舉行江戶三大祭之一山王祭的知名神社）的神官做法驅魔。
《每日新聞》指出，目前的首相公邸是小泉純一郎時代才開始入住，後來的歷代首相基本也都有入住事實。只不過安倍晉三2012年回鍋首相後，長期住在東京澀谷的自宅，後繼的首相菅義偉則主要住在議員宿舍，兩人都是每日通勤回到官邸辦公，晚上並不在公邸過夜。到了前首相岸田文雄上任後，時隔9年，才終於又有首相搬進公邸居住，而且他宣稱自己「每晚都睡得很好」。不過《每日新聞》也指出，許多入住者確實有「這裡好冷」、「太寬敞讓人不安」的評語。
根據日本首相官邸官網介紹，現在的首相公邸是在1929年竣工的舊官邸基礎上進行改建，並於2005年開始使用。舊首相官邸因為是在關東大地震之後建造，本體為鋼筋混凝土的兩層樓建築，總樓地板面積為1568坪。在正式竣工前的3個月，為了慶祝昭和天皇登基，舊首相官邸在1928年12月第一次開放使用舉行晚會。
首相公邸的大廳曾經接待來自世界各地的貴賓，包括英國伊莉莎白女王和美國總統，現在也仍然用於款待外國元首的晚宴。包括沖繩歸還日本的簽約儀式（1971年）、《中日和平友好條約》的換約儀式（1978年）、國民榮譽賞的授予式、奧運會和殘奧會優勝者和獲獎者的頒獎儀式，也都是在首相公邸大廳舉行。
