當時鹿窟確實有共產黨員建立基地，但潘世賢說事實上參與者極少、政府也只搜到一把土製手槍跟幾本帳冊，然而當情報局刻意將鹿窟渲染為「武裝基地」要求嚴辦，幾乎所有村民都被牽連其中：「萬人搜山，居民都沒有阿兵哥那麼多……那時挨家挨戶守著、出入都要登記，到底發生什麼事情？居民都是狀況外……」
於是一本賒帳豬肉的帳冊簽名，就被變成「武裝基地」成員的證據。潘世賢嘆：「有買豬肉的都是被牽扯進來的，他們現在有活著可能也不知道發生什麼事情，會以為是買了不合法的豬肉才被關……」
買一塊豬肉會發生什麼事，就受難者之一李石成於2018年促轉會有罪判決撤銷公告儀式所言，當時國民政府以2萬人包圍鹿窟、包圍範圍有22平方公里，「所有人都被抓去」。而據前監察委員高鳳仙、楊美鈴調查，許多村民被拘留在狹小空間刑求，手法包括「以木棍、竹棍、藤條、扁擔或槍托毆打、用鋼筆夾手、用針刺指甲、用夾子拔指甲、灌水、倒吊」，帶來的傷害是「有人被打到吐血或昏倒，有人因骨頭錯位而終生殘廢，有人被打到骨頭破碎而發瘋」，村民廖河更是在被釋放以後不堪痛苦而自殺。
幾乎每個家庭都有人被抓去當時的「菜廟」（今光明禪寺）刑求，潘世賢也是讀了李石城的回憶錄以後，才知道阿公發生什麼事的──原來阿公所有指甲都變形，很可能是因為當時被「布袋針」刑求，第一天拿針刺進10根指甲縫、第二天再刺進同個地方、第三天繼續，很多人不堪痛苦就招認自己沒犯過的罪、沒參加過的共產黨了。
「我在他手指頭上有看到歷史傷痛，他的指甲是不完整的，他們用刑時用布袋針去刺你的指甲縫、所以指甲不完整……」
後來阿公遭判刑8年，潘世賢也是到很後來才知道阿嬤當時非常傷心、到處打聽到阿公被關在秀朗橋下（今白色恐怖景美紀念園區仁愛樓押房），從家裡出發來回就要花上1、2天的時間，阿嬤也只去看過2次，阿公就去綠島了。
難相處被後藏了大把的無助 「阿嬤是因為阿公被抓走才變那樣的！」
「後來她為了控制整個生計，她不得不採取嚴厲管教的方式教育老爸那一代……她的臉非常嚴肅、很少笑，她在這年代受的苦應該不會比阿公少，因為要養6-7個小孩，我老爸是第3個、那時7歲，後面應該還有好幾個……」這是潘世賢記憶裡那個難相處的阿嬤，背後的無助。
至於父親潘朝圳，雖然不太提阿公發生的事、只略略提到阿公被抓去關8年，從小就失去父親的潘朝圳成長路自是艱辛，不只被迫放棄學業，就連當兵也被查三代、「點名做記號」特別管訓，青春年少苦不堪言。
