如何透過專精 SLM 詞彙，在實際應用中降低 77% 推論成本

專精詞彙：降低推論成本的關鍵做法

Dharma-AI 團隊在 Hugging Face 發表文章，預告 VocabX 論文的部分結果，指出針對小型語言模型（SLM）做詞彙專精化，能減少模型在實際應用中的推論成本。Dharma-AI 團隊開發的 VocabX 方法重新設計詞彙表，在不改變基礎模型的情況下，把測得的推論成本降低了 77%。

生產環境中的成本隱患

團隊在生產環境中運行一個基於 Qwen3-4B 的葡萄牙語作文自動評分系統。系統接收作文、提示詞及支援文本，回傳包含分數與評語的 JSON 格式評估結果。模型只有 40 億參數，也已針對任務訓練，但詞元器仍沿用為多種語言和領域設計的原始版本。這造成兩個主要問題：第一，模型輸出的文字被切成過多詞元；第二，模型每生成一個詞元，都要對包含 151,669 個條目的詞彙表評分，其中許多條目在這項任務中幾乎用不到。

推論成本的結構分析

要理解成本為什麼能省下來，得先看推論的兩個階段。預填充階段，模型一次處理完輸入，限制因素是運算能力；解碼階段，模型逐個生成回應，每個詞元都要完整跑過整個網路，限制因素變成記憶體頻寬。在小型模型搭配適中批次大小的情境下，這種效應最明顯。測量顯示，生成一個詞元的成本約為讀取一個詞元的 7.4 倍。此外，語言模型頭部（LM head）的參數矩陣大小與詞彙表相同，在 Qwen3-4B 中佔近 10% 參數。解碼時，模型要讀取並乘上整個矩陣，所以連不常用的詞彙條目，也會增加資料搬移的負擔。

VocabX 方法的核心創新

現有方法如快速詞彙轉移（FVT）、多詞詞元化（MWT）及 Liquid AI 的在位詞元器擴展，主要依頻率選擇詞元，而且只作用於單一層級。VocabX 針對這兩點做了處理。首先，它依成本而非頻率選擇詞元，並對系統提示、用戶訊息或模型回應中，每個被消除詞元所省下的價值加權。其次，VocabX 同時處理子詞層級與多詞層級。子詞層級會重建領域單詞的分割方式；多詞層級則找出重複出現的完整跨度（如 JSON 信封），合併成單一「巨集詞元」。

為了找出這些重複跨度，VocabX 使用五種自動搜尋器，分別專門處理長單字、整行、表達式、完整句子，以及帶有標點符號的結構。另外，對於樣本中觀察不到的候選詞元，VocabX 用基於統計行為的估計方法，而不是直接當成零增益，使合約語料庫的詞元減少率從 44.7% 提升到 52.8%。

實驗結果與品質平衡

團隊使用相同的基礎模型、資料、訓練配方及種子，訓練了七個只有詞元器不同的評分系統版本，並在配備 RTX 5090 GPU 與 vLLM 推理伺服器的測試機器上執行 500 次請求。結果顯示，模型平均回應詞元數從 350 降到 101，推論成本下降 77.0%。品質方面，結合評分準確率與篩選偏題或違規文章準確率的基準分數，從 0.703 提升到 0.810。

值得注意的是，初期嘗試把分數與周圍的 JSON 合併為單一巨集詞元，雖然最精簡，基準分數卻降到 0.689。原因是分數與結構的組合變成不同的詞元變體，模型得在同一步驟中同時選擇兩者。把分數獨立成單獨詞元後，回應多了 2 個詞元，基準分數卻回到 0.810，最終測得的成本減少率（77.0%）也高於合併版本（73.3%）。這顯示壓縮時不該犧牲模型需要做出關鍵決策的詞元。

跨領域與跨模型表現

為驗證 VocabX 的通用性，團隊在合約、醫學論文、科學論文、新聞及 Python 程式碼五個公開領域，以及 Qwen3、Llama-3.1 和 Gemma-3 三個模型家族中進行比較。在全部十五種組合中，VocabX 的壓縮效果都優於最強參考方法，差距為 1.2 至 9.3 個百分點。在估計推論成本上，剪枝後的 VocabX 同樣領先，平均優勢在 Qwen3 上為 10.2 點，Llama-3.1 為 7.5 點，Gemma-3 為 13.6 點。例如在合約領域，VocabX 以 113,426 個詞彙條目達成 62.6% 的詞元減少，優於使用 207,803 個條目的最佳在位 BPE 配置。

VocabX 並沒有讓模型變得更聰明，而是讓模型不必再為不必要的文字付出碎片化成本，也不必再對永遠用不到的詞彙評分。這證明專精化不只能從資料與權重著手，也能從更前端的詞彙層級開始。完整的 VocabX 方法、實驗表格及被捨棄的干預措施，將收錄於即將發表的論文中。