被AI專政的世界是否已經降臨？曾在紐約對沖基金德劭集團（D. E. Shaw Group）任職的數據科學家、知名部落格mathbabe博主Cathy O’Neil在其新作《Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy》中認為，非常可能。
在哈佛大學主修代數數論並取得數學博士學位的Cathy，自幼熱愛數學，在獲得紐約哥倫比亞大學巴納德學院的教職之後，卻毅然決定到德劭擔任量化分析師，透過研究各種數理統計模型與數據分析，在全球資本市場中找尋可持續獲利的交易與投資策略。她與同事所做的工作成果，可以驅動數以兆計的資金在全球市場快速流動，創造鉅額財富。2008年全球金融海嘯，讓她頓覺幻滅：非關道德的數理模型成為華爾街鍊金術士口中的神奇公式，由資產證券化工廠製造出來的金融衍生商品，催生了龐大的房地產信貸泡沫，將金融體系中的槓桿推升到難以為繼的程度，加劇了金融危機的連鎖反應，甚至差一點摧毀全球經濟。
更讓她驚訝的是，金融危機爆發後，新的數據分析技術被應用至更多領域。透過日夜不停地爬梳蒐集自社群媒體、電子商務網站及各類互聯網平台的海量數據，原本用來套利套匯套差價的演算法被用以研究人類的七情六慾、預測消費口味及監控信用風險，計算個人是否值得受高等教育、獲得工作面試、購買醫療保險、甚至戀愛與犯罪的機率。但這類驅動大數據經濟的應用程式，是基於容易犯錯的人類的主觀判斷所設計的系統。系統工程師們或許出於好意，企圖客觀地找出更有效率的方式解決問題。但很多模型仍然將偏見、誤解和私心納入了演算法，而人類的生活愈來愈受這些系統鋪天蓋地的管控。在數理邏輯至上的世界中，數學定律有絕對權威，數學家、電腦科學家與系統工程師彷彿神壇祭司，透過不透明的卡夫卡式黑箱，對芸芸眾生的未來作出神意的裁決。其決定即使是錯誤或有害，也不容質疑或申訴。
問題來了：這類數理模型之所以會存在且有商業價值，是因為它們一開始都是被設計用來自動化批量處理信息的特定程式，而且很多模型的根源來自於數學、化學與物理學等無機領域，而非生物學、心理學、政治經濟社會學等有機領域。在模型應用與結果詮釋上一旦出現偏差，將會加劇社會兩極分化，讓富者愈富、貧者愈貧，歧視與偏見在演算法的回饋路徑中被保存、複製、放大，往往出現反直覺、甚至反人性的嚴重後果。民營企業若將這類程式視為商業機密，不公開揭露演算法內部細節與誘因機制，往往讓數學公式成為卸除責任與保障官位的掩護與藉口，並且利用資訊科技創造出民眾關注的切身問題正在被解決的幻象，收割政治與商業利益。在最極端的情境，完全可以想像這些程式成為一座座用數學構建的袋鼠法庭（kangaroo court），透過各類物聯網監控技術與不透明的演算法「優化」資源分配，甚至可能在分子生物學的層次對人類進行分類、排序與缺席審判。這些源自人性黑暗面的大數據與人工智能，如果不受監管，有可能撕裂社會，甚至讓人類文明崩潰。但監管的標準該如何制定？誰來負責監管？如果監管者跟不上時代，甚至不可信賴，人類又該如何在AI專政的虛擬實境中維持人性尊嚴？
