辜顯榮出資修建劍潭古寺 辜振甫取得「管理權」
事實上，在日治時期，殖民政府1922年起有計畫地改變民眾信仰日本宗教，企圖消滅台灣的神明會組織，300多年歷史的劍潭古寺，原本長年供奉觀世音佛祖，在日治時代大正13年，辜顯榮出錢出力修建位於圓山飯店下的劍潭古寺，1937年古寺遷移到現址大直北安路，辜家將觀世音移置偏殿與池邊，主殿改奉釋迦牟尼。
相較於彰化南瑤宮等寺廟，在日治時代一度遭到殖民政府接管，國民政府來台後，依據《監督寺廟條例》，將廟宇視為荒廢寺廟，應由地方自治團體管理，辜顯榮捐贈的劍潭古寺，在1955年政府指定辜振甫擔任「管理人」，辜家也掌握了財團法人劍潭古寺的董監事指派權。
在屏東蓋家族墓園 劍潭古寺儼然成辜家「家廟」
劍潭古寺的「家廟」特性，在辜振甫過世後再度呈現，辜家為了將辜振甫安葬在屏東縣高樹鄉「泰和農場」，因為家族墓園總面積達1,300平方公尺，高於屏東縣政府規定8平方公尺，遭到屏東縣政府要求限期改善，當時估算的罰款金額為900萬。
不過，辜家為了展現誠意，特別承諾了在泰和農場，興建「熱帶植物保種中心」，2007年「財團法人辜嚴倬雲植物保種暨環境保護發展基金會」成立，由台泥、和平電力、中橡及劍潭古寺共同捐助。時任屏東縣長的曹啟鴻，在2008年的媒體訪問裡面也提到，將向中央爭取將整個高樹鄉納入休閒農業區，結合辜家的泰和農場建七星級休閒中心，帶動民間到高樹投資。
劍潭古寺總幹事蔡國嶼在2010年，又代表台泥企業捐贈100萬元給屏東縣長曹啟鴻，期許泰和農場的植物保種中心能儘早開放。
由於劍潭古寺後來發生產權爭議，時任台北市議員的簡余晏，曾經召開記者四批評劍潭古寺成為辜家的「家廟」，簡余晏與信徒公布劍潭古寺的寺產，強調辜顯榮在大正3年捐贈3萬銀元，但時至今日辜家擁有的寺產土地有28筆共2萬6804平方公尺，房屋124間、換算坪數約4500多坪的房屋。
