「當初坐船時，我原本真的以為可以去『樂園』了，直到我們抵達清津港，我看到那些歡迎我們的人、他們居住的環境，我開始變得既憂鬱又不安。」歡迎活動結束後，一行人坐上另一台搖搖晃晃的巴士，前往位於清津市的「歸國者招待所」，據李泰炅回憶，當時約有900名來自日本的「北韓同胞」被安置在招待所，大家通常都要在那裡生活5到6天後，才會被安置到北韓各地生活。
生火煮飯、用茅坑上廁所
至於要到哪裡生活，李泰炅表示，在「歸國者招待所」的建築前面，有一張很大的地圖，「歸國者」雖然可以選擇想去的地方，但實際上要去哪裡生活，還是由北韓當局決定，像李泰炅一家就被分配到位於北韓南部的偏遠村落D郡。李泰炅回憶，D郡大多都是平房（只有一層樓的房屋），且村民看起來比住在清津還要貧窮，他們雖然拿著用紙做成的花歡迎李泰炅一家的到來，但從他們的眼神中，可以看出他們對於外界來的好奇及驚訝。
この写真は新しい。北朝鮮：正恩氏の母、高英姫氏の７３年来日時の写真発見 - 毎日新聞 https://t.co/kWNmZrwaqc
— yonemura koichi (@micungengyi) April 14, 2018
李泰炅一家被分配到的房子為位於山腳的小平房，一棟平房不但要分給兩戶使用，空間還僅有8坪和6坪，甚至連廁所都要共同使用，且廁所還是最原始的「茅坑」廁所，這對於早已習慣日本生活的李泰炅一家來說，無疑是巨大的轉變和衝擊。
為了幫助李泰炅一家儘早適應當地的生活，北韓政府派了一名女性前來協助李泰炅的母親，為了煮飯和維持室內的暖氣，李泰炅的母親不得不學習傳統的生火方式。痛苦的不僅如此，由於當地沒有地方可以買到肉或米，故一家人一年四季都只能靠著玉米飯、泡菜，和加入乾菜煮成的湯果腹，李泰炅有時還要靠「催眠」自己在吃好吃的食物才能勉強下嚥。
由於不懂北韓語，所以像李泰炅這樣「歸國」的在日同胞，不但要在放學後學習北韓語，甚至連放暑假也要學習北韓語。同學都對他投以異樣、好奇的眼光，有時候甚至會強迫李泰炅借他們日本製的橡皮擦、鉛筆等等，或出現文具不翼而飛的情形。有些不滿的青少年甚至會採取激烈手段，嘗試從鴨綠江偷渡到中國。
金正日加強管控「歸國在日同胞」
北韓前最高領導人金正日於1970年代，發表有關確立朝鮮勞動黨為唯一思想體系的「十大原則」後，像李泰炅一家的「歸國在日同胞」便被分類至「動搖階層」，遭到北韓當局嚴格監控。李泰炅的父親為了避免家人出事，告誡他們如果被問到在日本的生活如何，一定要堅稱在北韓的生活比較好，一切以「裝傻」帶過。李泰炅表示，歸國在日同胞在北韓生活的日子，只能說是「充滿煩惱的人生」，不但要擔心明天有沒有飯吃，還要擔心自己隨時都會被抓走。
回憶起在北韓一路從人民學校（相當於日本小學）、中學，讀到高中畢業，而後再進入「朝鮮人民軍」的過程，李泰炅形容自己根本像是「金氏王朝的奴隸」。並稱北金正日加強管控「歸國在日同胞」的時期，恰巧是他十分寵愛現任最高領導人金正恩母親高容姬的時期。由於高容姬也是「歸國在日同胞」，故有傳言說金正日是為了提升高容姬的地位，才決定加強管控。
