羅芳伯在教書的日子裡聽聞了這條消息，心裡轉念一想，反正自己在待在這個村裡教書似乎也沒辦法搞出什麼名頭來，更何況那舉人還不知道能不能考上哩，與其待在這平淡的終老，怎不趁現在筋骨還活絡的時候出去異地拚一番大事業呢？，因此，羅芳伯下定決心，就來趟說走就走的「壯遊」順便再帶上自己的幾個學生和一些和自己年齡相仿的同鄉，組成旅行團，一路上也好有個照應，卻沒想到，這一招卻直接來了百餘人，甚至還有自己的親戚，由此也能看出當時的挖金之旅真的頗受歡迎啊！
就這樣，羅芳伯帶著同鄉百餘人，雇了名嚮導，就於虎門乘船前往所謂的「金山」坤甸，一行人乘船途經瓊崖(海南島)、西沙、呂宋(菲律賓)，最後總算到了目的地—現屬印尼的──婆羅洲島。
當時的整個印尼群島，分屬二十多個大大小小的馬來王國管轄，到了婆羅洲島後，羅芳伯被當地山明水秀的景致給深深吸引了，因此，他提筆寫下《遊金山賦》來記錄這邊的美景：
「蓋聞金山之勝地，時懷仰止之私衷。地雖屬蠻夷之域，界仍居南海之中。歲值壬辰，節界應鍾。登舟自虎門而出，南征之馬首是東。攜手偕行，親朋百衆；同舟共濟，色相皆空。予自忖曰：既從虎門而出，定直達乎龍宮。無何遠望長天，覺宇宙之無盡；下臨無地，想雲路之可通。」
當時的婆羅洲島上，也定居了不少慕黃金之名而來的華人，這些人就漸漸形成了當地的華人聚落，在羅芳伯的臆想中，當地的人民應該是挖黃金挖到手軟，坐擁萬千財富的那種，然而一行人一到達當地的華人聚落，觸目所及的並非如此，當地的華人生活十分困苦，缺衣少食，更有甚者直接流浪街頭，問其原因，原來是因為當地的採金技術落後、大小聚落互鬥，再加之當地治安敗壞土匪橫行，每每擾民都把好不容易挖到的黃金通通搶走，我在那邊挖得要死不活，你在那邊打包帶走，最好是能賺的到錢啦！
華人聚落的礦工把在這裡的淒慘生活一五一十地都告訴了羅芳伯一行人，這些血淚的經歷在羅芳伯眼中真的太讓人難以置信了，於是，滿腔熱血的他，想開始著手改善華人聚落的生活，於一七七○年成立了「蘭芳公司」，團體名稱是有了，但在異地人生地不熟，該如何是好呢？，正當羅芳伯在思考要如何重新建立人脈時，與他一同前來的同鄉打聽到了一個消息──當地赫赫有名的「聚勝公司」，它的建立者，貌似也是跟羅芳伯同鄉的梅縣人欸，不如我們可以先去找找他們的老大，先找個歸宿，再圖以後吧！
這裡先說一下，什麼叫做公司，其實簡單來說就是來開採礦物的華人苦力與他們的團練、保鑣所構成的共同體，加入一個公司採金，得到的保障比較多，所以常常吸引了大批的華人加入。
