由於一般的生成AI內置了防止濫用的機制，因此當它們被越獄濫用時，通常會表現出不穩定性。然而，與此相反，蠕蟲GPT和詐騙GPT似乎是專門為了濫用而開發的，從一開始就沒有建立起防止惡意回答的系統。
因此，那些在暗網等處獲得「濫用型生成AI」的用戶很可能會利用這些工具來創建具有說服力的詐騙郵件，或者對特定企業的系統漏洞發起無限制的網路攻擊。如果濫用型生成AI得以普及，即使是不具備高級程式設計技能的用戶，也可能更加精妙地策劃和執行網路釣魚和網路攻擊。
帳號交易和犯罪中的「分工」
在暗網上進行生成AI帳號的非法交易和犯罪活動的分工也是一個不容忽視的趨勢。
根據一家本公司位於新加坡的網路安全公司的報告，自2022年6月至2023年5月，超過10萬個ChatGPT帳號資訊被盜，並在暗網上被交易(*4)。據稱，這些被盜帳號被用於包括中國在內的禁止使用ChatGPT的國家和地區。由於這些帳號中包含了通過聊天進行的商業交談和系統開發的歷史記錄，因此存在非公開資訊洩露或被用於詐騙和網路攻擊的風險。
在暗網上，不僅有生成AI帳號的非法交易，還出現了一種「按小時出租」的詐騙生成AI，以獲取高度匿名加密資產的手段。在商業領域，通過網際網路使用雲端軟體的SaaS（Software as a Service）模式越來越流行，而將詐騙AI用於出租則可視為一種「犯罪SaaS」。這表明犯罪活動正在朝著更加專業化和分工化的方向發展。
由於分工體制周全，各專業人員分別擔任非法交易帳號和犯罪工具的開發、出租以及實施攻擊等活動，其結果是，各個犯罪和惡行比過去更難破案，網路攻擊和犯罪的效率還在不斷攀升。
8項基本對策
隨著數位技術的發展，過去通過面談或信件進行的詐騙活動已擴展到電子郵件、釣魚網站和有針對性的網路攻擊，技術發展與濫用行為是相互關聯的。隨著詐騙AI的發展和犯罪活動的分工，詐騙和網路攻擊將不可避免地增加，並逐漸演變成更加複雜的形式。
那麼，企業和法人應該如何應對因濫用生成AI而導致的日益增多和複雜的網路攻擊呢？首先，必須徹底落實過去已經採取的基本措施。
參考日本、美國等國家政府當局的網路攻擊應對措施，基本措施可分為下列8項。
ID/PW和身份驗證管理、備份和防毒軟體是個人網際網路和使用生成AI常見的基本操作。針對上述8項措施，企業和法人需要制定組織性的方針和實施體制，並進行檢查。特別對（7）緊急回應對策方面，假設各種類型的網路攻擊和複雜且同時發生的異常和危機等，必須討論對策並進行訓練，這或許已成為全公司範圍內的課題。
