戴乃迭出獄後給希爾達的書信大多是談孩子們，畢竟作為母親的她整整四年沒見到孩子，也沒有聽到孩子們的任何消息。五月，戴乃迭寫道：「幾天前收到燁的來信，很溫馨。他在小縣城，小工廠的工作經歷對他是有益的，他已不再是一個不切實際的知識分子了。作為那裡唯一的技術員，他不得不解決各種問題。」但是戴乃迭也感到兒子身上似乎有某種失落或憂鬱，「我常常感到他更渴望能去大一點的企業，能在有一定的文化生活的城市工作，或者能有機會使用他的外語知識。」沒過多久，戴乃迭和楊憲益就發現了兒子的精神異常。
一九七三年一月，戴乃迭給友人大衛．霍克斯的信中說，我們的兒子「在文革中由於我們的牽連而受到衝擊，工作生活都不順心……如果黨落實知識分子政策，我們的兒子能調回北京，他也許就不會太敏感多疑，情況會大大改善」。
一九七三年九月，兩個女兒已先後調回北京，楊燁的調動也大局已定。「這完全是因為黨的政策對外國人的特殊照顧。」戴乃迭在給霍克斯的信中寫道。
「我們兒子的心理狀態仍然不夠正常，但他還能工作，醫生們說換了環境他就會好起來。」
在給另一位英國友人約翰．吉廷斯的信裡，戴乃迭說楊燁對許多事物的看法太「古怪」：「他不打撲克牌，不聽西方音樂（阿爾巴尼亞音樂除外），不看英文書，也拒絕往國外寄信。」
一九七四年十月，戴乃迭給霍克斯夫婦的信中更加憂心忡忡：「我們的兒子被拘留了。他在『文革』中心理失衡，起初他極左，懷疑外國的一切……當然他工作不順，所分配的工作既不對口，也乏味。今年夏天他突然一反常態，認為自己是英國人，應當回國。」
楊燁的這一百八十度的大轉彎，來得突然，顯得古怪。但值得注意的是，在此前他與美國專家韓丁的女兒卡瑪有過一次簡短的談話。卡瑪與楊家孩子一起長大，楊燁因為年長，又聰明多識，所以是孩子們仰慕的大哥哥。現在卡瑪已經回美國讀大學，一九七四年的夏天回北京探親。楊燁這次與卡瑪見面顯得比以往健談，也許因為卡瑪在美國讀大學，讓楊燁有新奇感。
他們談到國籍與身分。卡瑪說國籍不過是一紙證明，並不能與身分等同；只有你自己才能決定你是誰，而不是讓一張紙定義你是誰。「比如我自己，我既可以選擇做中國人，也可以選擇做美國人。」卡瑪的想法一定給在閉關鎖國的新中國長大的楊燁耳目一新之感。最後，卡瑪還給楊燁推薦了當時正風靡美國的牙買加歌手吉米．克裡夫（Jimmy Cliff）主演的牙買加電影和他的唱片。影片描寫的是一個窮困潦倒的歌手，被社會壓迫，被生活欺騙，而走向犯罪的故事。吉米．克裡夫的「雷鬼音樂」和他那反抗壓迫，與命運抗爭的歌詞深受美國青年的喜愛。
