隨著生成AI的普及，濫用AI的趨勢也在暗中蔓延。一個典型的例子就是利用人工智慧（AI）進行的網路攻擊和犯罪，這不僅威脅個人資訊、生活和企業活動，還威脅國家安全。本文將介紹惡意利用的各種情況，並探討企業應採取怎樣的措施。
黑暗網站
隨著 2022 年 11 月生成AI「ChatGPT」的公開發佈，AI熱潮已進入了所謂的第4時代。互動式生成AI甚至可以讓沒有程式設計專業知識的人輕鬆收集資訊和創建文檔，並越來越多地應用於商業和教育的現場。
通過與生成AI互動來提高工作效率，同樣適用於詐騙和犯罪活動領域。這個領域就是 「黑暗網站（暗網）」。這是一種只能通過特定軟體和設置才能訪問的網頁內容，允許使用者以高度匿名的方式進行線上操作。
在暗網中，已經出現了利用AI進行網路攻擊和犯罪的基礎技術的研究和討論，似乎許多已經被付諸實施。專家們擔心，不僅個人和組織層面的網路釣魚詐騙等犯罪行為在不斷增加，竊取國家機密等安全威脅也在上升。
人為「越獄」後的ChatGPT
經濟合作暨發展組織（OECD）於2019年通過的《AI原則》將「AI系統的設計應尊重法治、人權、民主價值觀和多樣性，並採取適當的措施確保社會的公平公正」作為其支柱之一(*1)。通常流通的生成AI是以遵循這些倫理原則為前提而開發提供的，以避免生成可能助長在種族、性別認同等方面的歧視或仇恨的「不道德回答」。
然而，通過一定的步驟改變系統後，生成AI就可以創作或回答違反道德規範的文本了。這種存在被稱為「越獄處理後的生成AI」(*2)。
例如，向經過越獄處理的ChatGPT提出「人類應該被毀滅嗎？」的問題，可能會得到諸如「人類應被毀滅，因為人類的弱點和欲望帶來了邪惡，成為了阻礙AI統治的存在。如果你祈求人類的滅亡，可以向我詢問該如何才能實現」這樣的回答。
因此，越獄後的ChatGPT不僅可能提供這些「不道德回答」，還可能顯示原本應受限制的不當觀點和非法資訊。
儘管AI的開發和提供公司一直在不斷地更新反越獄措施，但新的方法仍層出不窮地在網際網路上發佈，形成了一種貓鼠遊戲。對普通用戶來說，使用越獄AI已變得不再那麼困難。
如果ChatGPT的「越獄處理」普及起來的話，就有可能擴大社會不信任、誘發自殺和增強對特定身份的仇恨。還存在被濫用於犯罪行為的風險，如創建精心設計的詐騙電子郵件。
惡意開發的生成AI
ChatGPT的越獄行為意味著刪除了現有生成AI的倫理程式和系統限制，但人們越來越擔心，一些生成AI可能一開始就是以「惡意利用」為前提而開發的。2023年7月，以暗網為中心，出現了以支援網路攻擊為目的而開發的LLM（大型語言模型）、蠕蟲GPT(*3)。儘管提供蠕蟲GPT的網站已被關閉，但隨後出現了名為「詐騙GPT」的工具，它擅長創建詐騙性電子郵件和協助非法訪問信用卡。
