所謂的「生成式」（generative），意指可以產生（生成）文字（text）的能力。「事先學習」（pre-trained）則是讓ChatGPT事先學習龐大的文字資料（a large corpus of text data），以具備與人類對話（chat）的能力。因此，ChatGPT能自然地以文字回覆人類提出的問題，寫出各種內容。
AI與ChatGPT的差異
我想用個問題考考各位，一般AI與ChatGPT有什麼差異？
一般AI是使用者輸入資料之後，針對資料進行分析，產生使用者期望的客製化內容。ChatGPT則是利用已經輸入的資料，經由AI與人類直接進行文字溝通。換句話說，ChatGPT利用AI自主學習的內容（演算法），一邊與人類對話，一邊產生人類期望的內容。ChatGPT能產生的內容除了文字之外，也能是圖片、影像、程式編碼等類型，甚至能寫出一篇完整的新聞報導。
ChatGPT能像這樣發揮差異化的能力，主要是因為有深度學習（deep learning）演算法——大型語言模型（LLM，large language model），才能運用已經學習的知識產生文字與圖形。換句話說，ChatGPT運用大型語言模型分析人類的文字，再以文字回答進行對話，同時也預測人類可能提出的問題，對此提供答案。舉例來說，當使用者輸入「冬天天氣」的時候，ChatGPT可能會用「很冷」接話，這就是利用同一句話裡面，單字之間的相互關聯性。
如同前面所述，ChatGPT利用文句裡的單字順序、關聯性來學習，再藉由龐大的資料庫反覆加強練習，並且在對話過程中修正有問題的部分，引導出更精準的對話。這種透過與人類對話來修正模型的過程稱為「人類反饋的強化學習」（RLHF，reinforcement learning from human feedback）。
由於ChatGPT運用AI的龐大資料直接與人類文字對話，產出人類想要的圖片，使AI比以前更接近人類的感性。談到這裡我想起歷史上轟動一時的圍棋競賽，結局是電腦打敗人腦：2016年Google子公司「DeepMind」推出AI圍棋程式AlphaGo，韓國棋王李世乭在與AlphaGo的對弈之中落敗。
山姆．阿特曼帶領的「OpenAI」大放異彩
OpenAI除了ChatGPT之外，也曾推出AI語言模型「GPT-3」、可把文字轉換為圖形的「DALLE 2」、多國語音辨識系統「Whisper」等，是AI技術的研究機構。ChatGPT則是OpenAI將GPT-3進階發展的產物。
