抵達越南北部後，這批技師被分成很多小隊，執行不一樣的任務。吳連義所屬的小隊負責在「清化省」種棉花、麥子、黃麻、甘薯和其它農作物。日軍於1945年3月發動三九事變後，以昭和通商的名義，進行特務動員，吳連義因此被分派監視著從越南南部出發運輸軍需米的船隻。在此前一年，由於天災、氣候異常，造成稻米無法收成。由於北越原本就糧食不足，再加上農田被迫轉種軍需作物及運送南部稻米北上的鐵路中斷，後來又因蔣介石派遣二十萬大軍來越南搶奪糧食，因而造成北部大飢荒，約二百萬越南人民餓死於此天災人禍。
根據1995年朝日新聞報導，1945年10月在越南聚集預計回國的4029人當中，1400人是台灣人及朝鮮人。由於日本戰敗而無法被依照日本人辦理，這些人都被從回國的名單剔除。有些人嘗試自己回國，有些散落各地，也有很多人行蹤不明。若依朝日新聞在當年由「林廷發」擔任會長的台灣同鄉會會員名冊找的到一些線索，1946年在河內的台灣人，包括吳連義在內，20幾歲的年輕人約300多個。
蔣介石依據麥克阿瑟的第一號命令派遣二十萬大軍進駐越南北部後，由中國國民黨接收日本軍的野戰醫院。比吳連義早二年先到越南的「林廷發」被提名擔任醫院的介紹及翻譯工作。由於曾目睹台籍日本兵被中國軍隊判刑，而林廷發又曾當過日本憲兵隊的翻譯，因此剛開始有些害怕。
但是，因為中國國民黨的士官計畫將野戰醫院的藥品非法變賣，但礙於語言障礙及苦無管道。這時，通曉中文、越語及日語且有藥學知識的林廷發成為最佳利用對象。由於林廷發協助中國士官販賣藥品，因而生活不至於困苦。林廷發在當時成立了台灣同鄉會，在河內生活困苦的台灣人經常在他家一樓聚會。
吳連義的情形與林廷發截然不同，他因害怕中國國民黨的追殺而逃亡。在日本戰敗後，吳連義從原本工作的台拓工廠，帯走一些鑽石等值錢的物品，先交給他的越南女朋友保管。沒想到，女朋友將全部東西變賣後，又另結新歡愛上一個中國國民黨的士官。吳連義原本想去警察局控告他的女朋友，沒想到卻碰那個士官。他覺得自己的生命會不保，便從警察局的二樓跳下來逃跑。
為逃避蔣軍的追殺，吳連義跑到青化省。他在那裡遇到原籍「寧平省」金山人，但在青化省工作的越南共產黨員「范尹應」(Phạm Doãn Ứng)。兩個人很快就變成知己朋友，並結拜爲兄弟。范尹應給吳連義取一個新的越南名字，叫做「范尹俅」(Phạm Doãn Cầu)，並教他越南語、種田和共產主義革命思想。後來吳連義跟著范尹應回到寧平省。吳連義把當時自己唯一剩餘的財產，一輛Perge 402汽車送給寧平省政府，因而獲得當局的信任，而留在寧平省政府工作。吳連義受過軍事訓練，教育程度又高，所以被指派負責擔任民兵遊擊隊的軍事教練。
