歡迎 Le Chonk：Mistral Large 4 登陸 Hugging Face

歡迎 Le Chonk：Mistral Large 4 上架 Hugging Face

Mistral 的大型語言模型 Mistral Large 4，又名 Le Chonk，現已上架 Hugging Face。這是一款多模態、多語言的混合專家（MoE）模型，輸入可以是文字與影像，輸出為文字。模型總參數量約 1T，活躍參數量為 49B，上下文視窗最高支援 1M tokens。

模型架構與技術細節

Mistral Large 4 結合了龐大的專家池、稀疏注意力機制與 Pixtral 視覺編碼器。語言模型會為每個 token 選出一小群專家，注意力索引器則挑選要關注的早期 token 位置。前者是對前饋網路做稀疏選擇，後者是對上下文位置做稀疏選擇，兩者屬於不同形式的稀疏。官方提供 FP8 與 NVFP4 兩種變體，Unsloth 與 llama.cpp 團隊也製作了 GGUF 格式檔案。模型採用 Mistral Ecosystem Open-Weight License 授權，這是衍生自 MIT 的授權，並對模型即服務的提供方式設有限制。

文字解碼器有 72 層，隱藏維度為 6,144，包含 64 個注意力頭。注意力區塊結合多頭潛在注意力（MLA）與 DeepSeek 稀疏注意力（DSA）索引器：MLA 維持壓縮的 KV 表示，DSA 則為每個查詢最多選出 2,048 個鍵位置。解碼器區塊採用 3:1 的 RoPE 對 NoPE 模式，也就是每四層中，前三層用 RoPE，第四層用 NoPE。第一層使用密集前饋網路，其餘 71 層都是 MoE 區塊。softmax 路由器會為每個 token 從 128 個專家中選出四個，再加上一個始終運行的共享專家，因此每個 token 共有 5 個專家活躍。

視覺編碼器採用 1.6B 的 Pixtral 編碼器，共 30 層，隱藏維度為 2,048，包含 16 個注意力頭。它使用 14 × 14 的 patches，搭配空間合併大小為 2 的 patch-merge 投影器。

資安與編碼能力表現

Mistral Large 4 在資安、編碼代理程式與多模態領域表現強勁。在 Artificial Analysis Cyber Index 中，該模型得分 82%，這項測試要求模型重現開源軟體中的真實漏洞並加以修補。Mistral 指出，多個封閉式前沿模型在同一測試中得分接近零，原因是它們拒絕嘗試這類工作。對防禦者來說，修復漏洞通常得先重現漏洞，所以這項能力很關鍵。在 Mistral 的內部測試中，該模型在惡意軟體分析、漏洞優先級排序與檢測規則撰寫上也派得上用場，儘管這些任務並不是明確的訓練目標。

Mistral 主要把這個模型定位在防禦性安全工作。漏洞研究與事件回應在模型輸入中可能看起來像攻擊，封閉來源的過濾器可能因此擋下這些內容。依賴 API 的團隊也可能在事件處理到一半時失去存取權限。開源權重模型則讓使用者自行掌控使用政策與部署。即便如此，該模型仍會拒絕有害請求：在 JailbreakBench、StrongREJECT 與 AgentHarm 的資安提示中，其平均拒絕率高於任何其他開源權重模型。

編碼方面，Mistral Large 4 在 DeepSWE v1.1 達到 61.7%，在 SWE-Atlas-QnA 達到 59.4%，在 Terminal-Bench 4 達到 28.3%。綜合編碼代理程式索引得分 49.8%，高於 DeepSeek V4 Pro 0813 與 Qwen3.8 Max。知識工作方面，它在 AutomationBench 達到 59.9%，在 AA-Briefcase 達到 1,393 Elo。

基準測試與推理支援

截至 2026 年 10 月 29 日，Mistral Large 4 是 Artificial Analysis Intelligence 索引中排名第五的開放權重模型。資安基準方面，它在 Vulnerability reproduction and patching 任務中拿下 82%，是該索引內報告的最高分。在 Cybench 中，它解出 40 個資安競賽挑戰中的 93%。此外，它在 Lakera 的 B3 基準測試中的攻擊抵抗力為 93.3%。

Mistral Large 4 在 Transformers、vLLM 與 llama.cpp 都有 Day-0 支援。Transformers 實作提供 AutoModelForMultimodalLM，推理努力程度可設為低、中、高，預設為高。vLLM 支援高品質的 NVFP4 檢查點，記憶體佔用較小，但需要 NVIDIA Blackwell GPU。llama.cpp 團隊提供 IQ2_XXS、Q2_K、Q4_K_M、NVFP4、Q8_0 與 BF16 等量化版本。2 比特量化可在單一台配備 512 GB 統一記憶體的 Apple Silicon Ultra 電腦上運行，其他量化則需要分散式推理。

微調與部署選項

Mistral Large 4 在 TRL 上有微調的 Day-0 支援。開發者只要升級 transformers、trl 與 peft 套件就能開始微調。舉例來說，可以訓練模型依系統提示要求的語言進行推理。

部署方面，Mistral Large 4 可在 Inference Endpoints 上使用，並提供在 8 張 NVIDIA H200 GPU 上即可使用的部署配方。該配方使用 vLLM 與 FP8 權重，並利用模型內建的 DSpark 草稿頭做推測解碼來加速生成。單一請求下，1K-token 提示的首 token 時間約 0.6 秒，生成速度約 65 tok/s。在負載下，1,000 則 ShareGPT 對話的總生成速度約 480 tok/s。

此外，Dell Enterprise Hub 也提供針對 Dell AI Servers（包括 NVIDIA H200、B200、GB200 或 GB300）的優化部署方案，開發者可透過 dell-ai CLI 快速部署 Mistral Large 4。開發者可以從 Mistral Large 4 集合取得權重，用 GGUF 在本地運行，或透過 Inference Endpoints 部署，也鼓勵在 Hub 上分享微調結果與量化檔案。