人工智慧(AI)的自然語言處理(NLP)是使用大量文章資料，通常經過整理，具有既定格式與標記，記錄詞彙之間的相關性，輸入電腦進行「訓練(Training)」，讓電腦「學習(Learning)」、進而形成「語料庫(Text corpus)」。而電腦生成句子的時候，無視語言學裡句法(Syntx)的結構與意義相關的知識，只是依照「這樣回覆的機率最高」的原則來進行就可以了！例如：句子裡出現蘋果，則有很高的機率會出現：紅色、甜的、圓形等詞彙。
上面這一段文字若講成白話文，就是：先用一大堆人類的話輸入電腦進行「訓練」，讓電腦「學習」形成「語料庫」，當我們對電腦輸入文字時，電腦會以我們輸入的文字做為「提示(Prompt)」，到資料庫裡把之前輸入一大堆人類的話「重新排列組合」，並且計算機率，選擇機率最高的文字、拼湊出一個句子輸出。在這個過程中，從頭到尾電腦都沒有聽懂我們在說什麼，只是無意識在進行數學計算「機率」而已，那裡來的「意識」和「智慧」？
這裡要特別注意，大家常看到許多文章說：我們在把資料輸入電腦進行「訓練」和「學習」。很多人誤以為，這代表電腦有意識會思考，才能進行訓練和學習，因為人類都是看到或聽到大量的資料，才能進行訓練和學習。事實上並非如此，人類學習是「有意識、會思考」的，而電腦學習是「無意識、不思考」的，只是因為把資料經由鍵盤和滑鼠輸入電腦的動作，和把資料經由眼睛和耳朵輸入人腦的動作很像，所以資料科學家將之稱為「訓練」或「學習」，才造成大家的誤會。
什麼是語言模型(Language model)？
所謂「語言模型」，就是一個數學演算法訓練資料的結果，用來決定這句話是否正確通順，以數學函數表達：假設給定第N個字，預測第N+1個字正確的機率，語言模型看似博大精深，但是它僅僅指的就是「一個句子的機率」而已！
ChatGPT所使用的模型，稱為「生成型預訓練變換模型3.5(GPT3.5：Generative Pre-trained Transformer 3.5)」，是一個自迴歸語言模型，使用「深度學習(DL：Deep Learning)」讓電腦產生人類聽懂的話，其中「生成型(Generative)」代表它會重新排列組合舊的文字，以生成新的句子；「預訓練(Pre-trained)」代表它必須事先輸入大量資料訓練、以產生語料庫；「變換模型(Transformer)」是GPT3的前幾代模型，事實上，變換模型是由Google大腦團隊在2017年推出的。所以嚴格來說，Google比OpenAI更早研究自然語言處理，OpenAI會的Google也會，只是Google一直不敢使用而已[4]。
