克萊瑞菲(Clarifai)這家公司位於紐約市的一間小辦公室內,就在紐約大學深度學習實驗室附近,主要是研發可以自動辨識數位影像中物體的科技,例如在零售網站上搜尋鞋子、服飾與皮包的相片,或是辨識保全攝影機影片的人臉。該公司的目的是複製谷歌與微軟等科技業者過去幾年在人工智慧實驗室內所建造的影像辨識系統──然後出售給其他企業、警局與政府機構。
2017年秋天,克萊瑞菲位於曼哈頓下城辦公室角落的一間房間,窗戶全都用紙糊住,門上有一個牌子寫著「消失的密室」(The Chamber of Secret),引用的是《哈利波特》(Harry Potter)系列的第二集書名。這個牌子是用手寫的,掛得有些歪歪斜斜。在門後有個八位工程師組成的團隊,正在進行一項他們被禁止對公司其他同事談起的計畫。其實,即使是他們自己也不太清楚所從事的計畫是什麼。他們知道是在訓練一套系統,使其能夠自動辨識在沙漠中某處所拍攝影片裡的人物、汽車與建築物,但是他們不知道要如何使用此一科技。當他們詢問時,公司的創辦人暨執行長麥特.塞勒(Matt Zeiler)會解釋,這是政府有關「監視」的計畫。他說此一計畫可以「拯救生命」。
後來克萊瑞菲搬到較大的辦公室,幾位工程師發掘儲存在公司內部電腦網路的數位檔案,發現有幾個檔案談到一筆政府合約,他們的工作才浮現檯面。他們是為國防部的專家計畫(Project Maven)研發相關科技。該計畫的構想是建造一套系統,可以為無人機辨識攻擊目標。但是此一系統的確切用途仍不明朗。他們無法確定此一科技是用來殺戮,還是如塞勒所說的是為了避免殺戮。也無法確定這套系統是用來進行自主性的空襲行動,還是為人類操作員扣下扳機前提供資訊。
接著,在2017年末的一個午後,三名身著平民服裝的軍方人員走進克萊瑞菲的辦公室,與幾位工程師闢室密談。他們要知道此一科技的精確度有多高。他們先是詢問它能否辨識像清真寺這樣的特殊建築物。他們表示,恐怖分子與叛亂分子往往會利用清真寺作為軍事總部。他們然後又問道它能否區分男人與婦女。「你是什麼意思?」一位工程師問道。軍方人員解釋,在曠野之中,它應該能夠根據男人兩腿間隙來分辨男人(都是穿著褲子)與婦女(都是穿著長及腳踝的裙子)。他們表示,他們只准許射殺男人,不能殺婦女。「有時候男人會穿長裙來騙我們,不過沒有關係,」一位軍方人員說道,「我們還是會幹掉這些混帳東西。」
2017年8月11日,週五,美國國防部長詹姆士.馬提斯(James Mattis)坐在谷歌總部會議室的桌前。他對面坐著新上台的谷歌執行長桑達.皮采(Sundar