中國內地多數南向流動的是為了討生活或者是避開戰亂的一批批庶民，包括最早期就移民到香港來的，大量到南洋的、到台灣的……他們到南洋，到香港，到台灣追求新機會，出走本身並沒有很強的政治理念，在近代之前，更沒有意識型態的訴求，充其量是一種天高皇帝遠，到了不用納皇糧的生活環境。這跟忠君愛國，日讀四書五經的士大夫追求光宗耀祖是不一樣的。等到在台灣、南洋開始逐漸生根了，他才慢慢恢復文化傳承。但是生活層面沒有這個問題，可是潛在的文化意識仍然起著作用，比如傳宗接代、慎終追遠，也就是說一些歷史文化情結，在這個文化基因裡是存在的，像是早期的移民是帶著祖宗牌位往外走的，不是什麼偉大的意識型態，或儒家價值在驅策，而是很自然地這樣做，相信祖先的庇佑，所以後來的能夠逐漸地又恢復傳統固有文化。
移民之中不乏逃犯、難民、海盜，要恢復文化也並不容易，雖然生活安定下來，家庭開始繁衍，聚落開始出現，於是有了群體文化的需要，但是除了身體力行外，他不一定能夠陳述。已經過世的李亦園院士，平常喜歡講一些小故事，他發現，今天在連續劇裡看到的一些遣詞用句，我們認為這是本土的表述方式，在他人類學的考據，其實是早年移民沒有文化弄錯了而已，譬如說一個男人是狼心，李老師說這其實就是狠心，用錯就變成狼心。是在這個變異的基礎上，官學逐漸恢復。
閩南文化有一種儼然正統的姿態，以及一種政治上的惆悵
香港跟台灣情形不完全一樣，但是從知識分子文化的移動方向來講，是一樣的，就是所謂的「南來者」，早期台灣很少有這樣的講法，但台灣知識界當然也是南來者。南來者的特性是對於北方或大陸的中原政治，有一種既疏離又懷舊的矛盾心理，所謂南來，影射一種政治疏離與文化正統的複雜想像。因為南來者是在北方政治中落敗，一路往南走。
中國時報早先有位記者叫徐宗懋，寫過一本書叫《沒落的貴族》，就講到了南北朝、宋朝這些往南走的前朝遺老。尤其宋朝，一路往南到了閩南，閩南文化有一種儼然正統的姿態，以及一種政治上的惆悵，然後閩南人又進一步地往南到了台灣，到了南洋……所以稱之為「沒落的貴族」。這跟香港的南來者稍微不同，香港南來者也有很多政治上的失敗者，最明顯的就是辛亥革命之後，就有一批南來者到了香港。 1949年社會主義革命後又有一批南來者到了香港，1962年難民潮又是一批，1989年之後再一批。從歷史根源來講，香港南來者的處境是落敗之初，還有班師回朝的信念，雄心要遠遠超過台灣的南來者，台灣南來者的祖先早已經被徹底打敗了，有人開玩笑講，閩南這一支的政治文化裡，沒有豪氣干雲、王公將相這樣的人了，從林則徐以降，好像沒有出過什麼封疆大吏。1949年之後呢，在中共中央的閩南人，大概就是陳伯達，就是一個毛澤東的文膽。同樣是南來者，港台有歷史長度的差異，不過久而久之，祖先的銳氣與正統意識沒了，卻還是懷念那個正統的派頭。香港的南來者從辛亥革命以降，一代一代的移民進入，辛亥革命之後再進一步往南走的人很多。五四的時候，魯迅跑到香港，批判香港的知識界搞儒學復興運動。而當時的背景是省港大罷工，是內地的社會主義革命運動，香港工人紛紛到廣東去參加串聯。香港的總督要去遏止，廣東省就對香港實施禁運，導致香港的總督換人，誰想到換來的人對後世產生很大的文化影響，這個人，很多年長的同仁都知道，叫金文泰。
