ChatGPT的底層技術叫大型語言模型(LLM: large language model)，這種模型骨子裏試圖掌握文字接龍般預測下一個字的能力：給定一段前文，預測下一個字或建立下一個字所形成的機率分布。譬如說，如果前文是「中國大陸最長的河流是什麼？」，它最有可能的下一個字是「長」；如果前文是「中國大陸最長的河流是什麼？長」，則它最有可能的下一個字是「江」。訓練LLM所需的語料無需標註，所以很容易取得。假設前文的長度是一百字，一篇5000字文章可作成約4950組訓練語料：第一組以1-100字為輸入，第101字為輸出；第一組以2-101字為輸入，第102字為輸出，以此類推。
這些語料餵進稱為Transformer的深度神經網路架構，可訓練出大型語言模型。而且，只要語料越豐富，網路架構參數越多，前文長度越長，訓練出來的大型語言模型所具有的自然語言處理能力就越強。目前已知的功能包括摘要、問答、翻譯、分類、情境分析、規劃、設計等；甚至，這些模型還具有舉一反三的能力：只要在提示裡提用幾個例子說明特定的概念，它們就能將例子所隱含的概念應用到後續的回應中。
從知識管理的角度的觀點，大型語言模型已經具備以下三種能力。其一，將一篇文章裡面的重點與關鍵思想摘要出來；再者，從多篇探討相同議題的文章中，抽取它們所提出的觀點或解決方法，並比較其優劣和權衡焦點；最後，根據已經提出的解決提案，藉由內外插的手段產出混搭既有方案的新穎解決方法。這三種能力結合起來，表示大型語言模型已具有將大量專業文章自動內化成可讓用戶以自然語言查詢、探索與腦力激盪的知識庫。當然，儘管以上這些能力在目前最先進的大語言模型都已達一定的水準，但也都還有改進的空間。
歷史文化保存的一大重點是歷代文字的收集、整理與傳播。第一級的歷史文化保存聚焦於實體文物的收集、修復與妥善保管於專業博物館，重點放在盡可能保持歷史文物的原狀。第二級的歷史文化保存進展到數位典藏：首先將歷史文物數位化，再運用現代資料庫技術將其分門別類、建立索引，以便後人易於搜尋、閱覽和欣賞，重點放在以數位方式增進民眾接觸歷史文物的方便性。
上述兩類保存方式都只是被動地保存歷史文物的既有風貌，大型語言模型技術則可將歷史文化保存推向一個前所未有的第三級境界：主動分析消化所有歷史文物的文字內容，積極找出它們在時間與空間軸上的語意關聯性，進而將其所涵歷史資訊組裝成互相援引的關聯網路，最終形成包羅萬象、旁徵博引、交叉勾稽串聯的知識庫，讓後人得以超越個別文本，輕易地進行之前需要皓首窮經、曠日廢時才能作到的跨代、跨領域、跨文本的查詢、連結、比對與推理論證。
