語言模型可靠性與擴展的資訊論極限

研究團隊從資訊論角度證明，大語言模型（LLMs）被假設能透過足夠規模達成完美可靠性的觀點是無理論依據的。每個生成任務都存在一個無法被任何模型超越的可靠性天花板，該極限取決於可觀察上下文能解決多少輸出不確定性。

此差距可分解為兩個部分：一是可透過補充更多上下文來縮短的「可解決部分」，二是源於任務本身歧義性的「主觀部分」。此外，自回歸生成（Autoregressive generation）會進一步降低此天花板，其衰減速率由任務的依賴核（dependency kernel）決定，該核量化了輸出中的詞間相關性。

基於上述兩個基本要素，研究團隊推導出首原則擴展法則（first-principles scaling law），指出大語言模型的效能受限於訓練資料或模型容量中較稀缺的資源。此法則將知名的 Chinchilla 擴展法則視為特例，並提供了關於何時擴展能提升可靠性的結構性解釋。

該框架還統一了多種實際現象，包括檢索增強（retrieval-augmentation）的好處以及災難性遺忘的譜力學機制。這項工作形式化了跨領域模型效能所遵循的資源與複雜性權衡，為生成式語言模型的效能極限提供了統一的理論。