法新社指出,能夠從簡單文字產出細膩影片的全新AI模型Sora,已經引發媒體專家的擔憂。史丹佛大學研究員西蒙(Basile Simon)擔心,此類生成式AI可能會在選舉期間遭到濫用,擔心民眾「不知道還能相信什麼」。法國電視台總編輯朱利安·帕恩(Julien Pain)也擔心人工智慧被濫用,「過去辨認假影像並不難,但新的AI技術讓這件事的難度跟過去完全不同」。朱利安·帕恩說,雖然美國的科技巨頭可能會為AI影像加上浮水印,「但中國與俄羅斯的對手們明天又會怎麼做呢?」
《紐約時報》也說,科技巨頭們的防偽工具或浮水印策略會有什麼效果,目前尚難論斷,畢竟生成式AI的產製內容已經模糊了事實與虛構的界線。除了科技業者的自律,美國的立法者也開始起草法案,試圖規範人工智慧產生的政治言論與內容。針對偽造成拜登聲線的「不要參與初選投票」假音訊,聯邦通訊委員會已經宣告這類電話違法,因為由AI生成的聲音在電話中誤導了選民與支持者。
True Media 創始人奧倫·埃齊奧尼(Oren Etzioni)對《紐約時報》表示,人工智慧的錯誤訊息和欺騙,可能會在舉行83場選舉的2024年對民主帶來毀滅性的影響。包括Anthrophic、Synthesia等人工智慧新創公司,也紛紛發表禁偽政策或技術。Anthrophic禁止將其技術應用於競選或政治遊說,目前也在研究如何避免該公司的聊天機器人Claude產出誤導性的錯誤內容;Synthesia也正在改進用於檢測技術濫用的系統,避免人工智慧模型產出虛假、極化、分裂或誤導性的素材。谷歌去年12月已經要求YouTube的創作者揭露所有經過數位修改或產生的內容,並且表示「與任何新興技術一樣,人工智慧帶來了新的機遇,也帶來了挑戰」、「我們正在針對錯誤訊息的挑戰做準備」。