Arya說，對AI模型訓練的投資激增後，隨著重點轉向從AI模型中創收，晶片推理功能的重要性將上升。與輝達主導的AI訓練功能相比，推理晶片可能更具競爭力。
推理相關業務的增長速度可能比早先預期的要快。今年年初，瑞銀（UBS）分析師估計，90%的晶片需求來自訓練，到明年推理將僅占市場的20%。這些分析師在一份報告中說，輝達約40%的數據中心收入來自推理，這個數字超出了他們的預期。
事實上，輝達上周三的財報顯示，該公司在AI晶片市場的份額尚未受到真正挑戰。目前輝達的AI晶片市場份額超過80%。在可預見的未來，輝達用於訓練AI系統的晶片預計仍將保持較高需求。
在訓練AI系統的過程中，公司通過其模型運行海量數據，教它們預測語言，從而生成類似於人類的表達。這項工作對算力要求很高，而輝達的圖形處理器（GPU）非常適合這項工作。
推理工作則是要求這些模型處理新的資訊並作出反應，相對輕鬆一些。
除了英特爾和Advanced Micro Devices等輝達的老牌競爭對手外，一些AI晶片新創公司也可能會隨著推理功能日漸重要而嶄露頭角。
新創公司SambaNova將AI晶片和軟體結合在一起，可以進行推理和訓練。「我們看到我們的推理用例正在爆炸式增長，」該公司執行長SambaNova表示，「人們開始意識到，80%以上的成本將用於推理，我需要尋找替代解決方案。」
由前GoogleAI晶片工程師Jonathan Ross創立的新創公司Groq近幾個月來的吸引力激增，先前該公司主頁上的一個演示展示了其推理晶片如何快速地從一個大語言模型中產生回應。Ross說，該公司現有計劃是今年部署4.2萬塊自家晶片，明年將部署100萬塊，但公司正在考慮將今年的部署數量增加到22萬塊，明年增加到150萬塊。
Ross說，推動該公司考慮改變計劃的一個因素是，一些最先進的AI系統正在進行調整，以便在不重新訓練的情況下做出更好的響應，這會將更多的計算工作推向推理。Ross說，與輝達或其他晶片公司的產品相比，Groq的專業晶片運行速度快得多、成本也低得多。
「對於推理，你能部署什麼取決於成本，」Ross表示。「有很多模型可以在Google接受有效訓練，但其中大約80%都沒有得到部署，原因是投入生產的成本太高。」
包括Meta、微軟（Microsoft）、Alphabet旗下Google（Google）和亞馬遜公司（Amazon.com）在內的科技巨頭一直在努力開發內部推理晶片，因為它們意識到即將到來的轉變以及能夠以更低成本進行推理的好處。
以亞馬遜為例，該公司雲端運算部門數據和機器學習副總裁Swami Sivasubramanian去年表示，亞馬遜從2018年起就開始研發推理晶片，推理占其Alexa智能助手運算成本的40%。
輝達則希望在向推理過渡的過程中保持領先地位。去年，輝達即將推出的一款晶片在一次重要的AI推理基準測試中取得了行業領先的成績，延續了該公司多年來在該競爭中的優勢地位。
去年12月，AMD發布了新的AI晶片，稱其推理性能優於輝達的晶片，隨後輝達在一篇部落格文章中回擊了這一說法。輝達稱，AMD提到了其晶片有更好的推理性能，但是AMD的測試沒有使用優化軟體，而如果在使用優化軟體的同等測試條件下，輝達晶片的推理速度將會是AMD的兩倍。
