中國智能產品AI 「幻覺」現象層出不窮
360等科技企業在摩擦AI熱度、搶佔生成式人工智慧市場時，必須遵守中國當局對內容監管的束縛。但AI「失控」口出狂言，成為這些科技公司面臨的難題。
以美國OpenAI出品的ChatGPT為代表的生成式人工智慧工具已經面世，就遇到了所謂AI「幻覺」（hallucination）的難題。 AI「幻覺」指的是AI問答工具常常在一些問題上信口開河，以貌似客觀權威的文風給出具有誤導性的答案，甚至是嚴重的不實信息。科技公司在測試和操作時難以控制。
電腦科學家將這現象形容為「一本正經的胡說八道」。在回應中，週鴻禕也提到了AI「幻覺」。他說：「目前人工智慧存在一個全世界公認的難題就是它會產生幻覺，也就是它有的時候會胡說八道。這是大模型本身固有的特性。」他表示360一直在試圖通過與搜索的內容做對比來減少「幻覺」、做好「知識對齊」。
科技部落客、微軟公司前公關事務主管羅伯特·斯科布爾（Robert Scoble）說，生成式人工智慧品質已經有了極大的改善，但「偶爾仍然會出現『幻覺』」。而中國當局為因應AI「胡言亂語」，必須在訓練AI模型前就要對訓練語料庫（corpus）進行大清洗。
斯科布爾透過簡訊對美國之音說：「（中國）會受到某些內容的困擾，因此在訓練前就要把這些內容刪除，例如『天安門』問題。」
中國被認為是規範AI立法和建立行政規定方面走在各國前線的國家。網信辦等部門2023年7月已經透過管理辦法，試圖對生成式人工智慧（generative AI）的資訊輿論導向進行管制。
暫行辦法規定，具有輿論屬性或社會動員能力的生成式人工智慧服務商，必須進行安全評估，並對演算法備案等級。
為了監管「深度偽造」內容，中國2023年1月開始實施的管理措施要求服務提供者對那些「可能導致公眾混淆或誤認的」AI生成內容進行「顯著標識」，以便用戶可以識別哪些圖像和影音是機器「創造」的產物、哪些是真人的創作。
國產學習機曾經「詆毀」毛澤東
不過，即便中國對科技企業訓練AI時的內容審查提出了很高的要求，但即使是基於經過「漂白」的語料庫訓練出的AI大語言模型，仍然讓出現讓當局甚為惱火的「反動」內容。
去年有中國網友在社群媒體爆料說，中國IT企業科大訊飛生產的兒童學習機中發現了有辱毛澤東的內容。
據報導，這款AI學習機「原創」了一篇作文，稱毛澤東是「沒有氣量，不為大局著想的人」，並指出毛澤東應為「文化大革命」負責。文章說：「文革中一些隨著毛主席打下這片江山的人，都被毛主席整得苦不堪言。」
