2024年諾貝爾物理獎於10/8揭曉,由美國學者約翰霍普菲爾德(John Hopfield)與加拿大學者傑弗里辛頓(Geoffrey Hinton)共同獲獎,他們運用物理學工具開發了構成當今強大機器學習技術基礎的方法。
91歲約翰·霍普菲爾德在1982年發明聯想神經網路,76歲的傑佛瑞·辛頓則是反向傳播算法和對比散度算法的發明者之一,同時也是深度學習的推動者,被譽為是「深度學習教父」。
Hopfiled神經網絡是一種遞歸神經網絡,由John Hopfield在1982年發明。Hopfield網絡是一種結合存儲系統和二元系統的神經網絡。他引入「能量函數」(energy function)的概念,闡明了神經網路與熱力學之間的關系。能量函數通常指的是一種函數,它將一個向量表示成它在空間中的位置,並在空間中求出它的能量值。
反向傳播(Backpropagation,意為誤差反向傳播,縮寫為BP)是對多層類神經網路進行梯度下降的演算法,也就是用鏈式法則以網路每層的權重為變數計算損失函式的梯度,以更新權重來最小化損失函式。
深度信念網路(Deep Belief Networks, DBN) 是一種結合無監督學習與監督學習的深度神經網路結構,最早由 Geoffrey Hinton 提出,它是建立在侷限型波茲曼機(Restricted Boltzmann Machines, RBM)的基礎上,通過逐層訓練學習數據的隱含特徵再進行細調。
玻爾茲曼機可被視作隨機過程的,可生成的相應的霍普菲爾德神經網絡。它是最早能夠學習內部表達,並能表達和解決組合優化問題的神經網絡。它由玻爾茲曼分布得名,該分布用於玻爾茲曼機的抽樣函數。
霍普菲爾德創造了一種聯想記憶,可以儲存和重建圖像及其他類型的數據模式;辛頓則發明了一種能夠自動在數據中發現屬性的方法,從而執行諸如識別圖片中特定元素的任務。
約翰·霍普菲爾德可說是橫跨文理界的通才,1954年獲得斯沃斯莫爾學院文學士學位,1958年獲康奈爾大學凝聚態物理博士學位,畢業後從事物理與生化的研究,之後又涉及資工!
被稱為AI教父的辛頓,則是1名電腦科學家,曾獲得被譽為資工界諾貝爾獎的「圖靈獎」,並曾示警「AI發展可能跟核武一樣危險」,提醒大家要注意AI使用的規範,引發全球關注。
以上的兩位的發明與物理的熱力學有關,可見物理是所有科學之母,連AI都不例外。想學好AI的人,非熟悉物理不可。
AI的發展可說是物理、生物與化學等各種科學的結晶,是人類智慧的最高成就,然而對人類是福或是禍,尚言之過早。
當今世界有兩大集團,一個是正義的,另一個是邪惡的,前者利用AI發展醫學技術造福世人,後者則是利用它發明殺人武器與控制人民的影像技術。
愛因斯坦曾經說過,只有兩樣東西可能是沒有極限的,其一是宇宙,其二是人類的愚蠢。觀諸今日世界,可思過半矣。
*作者為台大物理博士/大學教授