台灣是個移民社會，且位處清朝統治的邊疆地帶，幾乎沒有人能透過考科舉的方式成功翻身，反倒是經商的人逐漸成為地方一大勢力，台灣早期的五大家族（基隆顏家、板橋林家、霧峰林家、鹿港辜家、高雄陳家）便掌握了各樣生意管道。不過，當中的霧峰林家一開始並非因為掌管商業而起家，反而是靠武力取得大量土地，一路成為中台灣霸主，再被授予樟腦的專賣權，讓他們走向了發財之路。
林文察遇小刀會之亂
霧峰林家為何會以武力起家呢？這要從林家下厝系的林文察說起。據說林文察小時後就很喜歡讀兵書，還勤練槍法、刀劍等不同的武術。22歲時（1850年/道光30年）爸爸林定邦遇害，他便誓言要為父報仇：據〈林氏族譜〉的記載，林文察私自偷襲仇家林媽盛，並押到父親墳前誅殺獻祭。另有一說認為，林文察並沒有殺死對方，但他確實到處搜查林媽盛下落，反倒牽連出另一起縱火案。林媽盛在這期間屢次狀告彰化縣府（當時的彰化縣約為今日的台中市、彰化縣、南投縣），但縣府的態度有些愛理不理，林文察也一直沒被判刑。
另一方面，自太平天國起事後，清廷便窮於應付這個南方的割據政權。福建的小刀會也趁亂興起，但很快就被打出廈門，逃往台灣繼續亂事。這時的林文察接受徵召，率領上百位鄉勇打敗了小刀會，也替自己立功、消弭了被通緝的負面感。
林文察在擴張實力的同時，也一併增加林家的土地與房產，還招募更多的鄉勇以擴充軍事。隨著他的名氣越來越響，多位文官武將時常請他出馬平定各地大大小小的械鬥，或是捐錢給政府機構，讓他漸漸受到重用。林文察也因在小刀會亂台期間的貢獻不遺餘力，他被升為參將（清朝正規、主力軍隊──綠營的軍階）、能穿戴官員服飾，還受封「固勇巴圖魯（滿語「英雄」、「勇士」的意思，是清廷賞賜有戰功之人的封號）」。
協助攻打太平天國
前面曾提到的太平天國，其動亂之大讓清朝的兵力短缺，連帶地需要招募台灣人渡過黑水溝、幫忙朝廷打仗。林文察則因其平亂功力備受認可，受中國各地的總督推薦前往福建、浙江打擊太平軍。在這短短的4年（1859-1863、咸豐9年至同治2年）間，他最為人稱頌的地方在於，這個外地人能以小博大擊敗對手，他的軍階也因此快速地升高，被皇帝賞賜「烏訥思齊巴圖魯」的稱號。
平定戴潮春事件，取得樟腦收購權
當林文察在福建、浙江驍勇善戰的時刻，戴潮春事件卻恰巧爆發，還越演越烈、延燒到林家。為什麼一件官府鎮壓導致的民變，會和這個地方家族扯上關係呢？其實是有兩股勢力加入戴潮春一方：其一就是當年被林文察追殺的林媽盛家族（同樣住在霧峰的「後厝」林家，相對於「前厝」的霧峰林家）；另一方則是素來與之爭奪水源的草屯洪家。這兩個實力不容小覷的集結在一起，讓沒有林文察坐鎮的霧峰林家頓時徬徨無助。
