開源 AI 蓬勃發展，Hugging Face 解析誰在獲利

Mistral 發布了多模態、多語言的混合專家（MoE）模型 Mistral Large 4，該模型在網路安全、編碼代理程式和多模態任務方面表現特別強勁，在 Artificial Analysis 網路安全指數測試中獲得 82% 的分數。與此同時，開源生態系中的 vLLM、Llama.cpp 等技術團隊已提供對該模型的支持。

模型架構與技術規格

Mistral Large 4（暱稱 Le Chonk）是一個混合專家模型，其總參數量約為 1T，其中活躍參數量為 49B，並具備 1M tokens 的上下文視窗。該模型接受文字和影像作為輸入，並生成文字輸出。在技術架構上，Mistral Large 4 結合了龐大的專家池、稀疏注意力機制以及 Pixtral 視覺編碼器。具體而言，其語言模型會為每個 token 選擇一小群專家，而注意力索引器則決定要關注哪些早期的 token 位置。

該模型以兩種官方變體發布：FP8 和 NVFP4。此外，Unsloth 和 Llama.cpp 團隊也建立了 GGUF 格式的版本。在授權方面，Mistral Large 4 採用 Mistral 生態系統開放權重許可證，這是 MIT 許可證的衍生版本，對模型即服務（MaaS）的提供設定了限制。

網路安全能力與測試結果

Mistral Large 4 在網路安全、編碼代理程式和多模態任務方面表現特別強勁。在 Artificial Analysis 網路安全指數測試中，該模型獲得了 82% 的分數。該測試要求模型復現開源軟體中的一個真實漏洞，然後修補該軟體。根據 Mistral 的報告，在相同的測試中，幾款封閉式前沿模型得分接近零，因為它們拒絕嘗試執行此項工作。

在 Mistral 的內部測試中，Mistral Large 4 被發現對惡意軟體分析、漏洞優先級排序以及編寫檢測規則有用。Mistral 主要將該模型定位用於防禦性安全工作。

開源生態系支持與部署選項

vLLM 支援高品質的 NVFP4 Mistral Large 4 檢查點，該檢查點具有更小的記憶體佔用空間，但需要 NVIDIA Blackwell GPU。該模型還隨附 DSpark drafter，以在 vLLM 中提供額外的速度提升。Llama.cpp 和 Llama App 已經支援 Mistral Large 4。

Llama.cpp 團隊提供了多種量化版本，包括 IQ2_XXS、Q2_K、Q4_K_M、NVFP4、Q8_0 和 BF16，用於進一步轉換。2-bit 量化版本可以在配備 512 GB 統一記憶體的單台 Apple Silicon Ultra 電腦上運行。其他量化版本則需要分散式推理，也可以在多台 NVIDIA 或 AMD 顯示卡上運行。

在單台 M3 Ultra 上運行 Q2_K 量化版本，預填充吞吐量約為每秒 90 個 token，生成速度為每秒 15 個 token。在 4 台 RTX6000 Pro 上運行 NVFP4 版本，上下文大小為 32K，預填充速度為每秒 130-590 個 token，生成速度約為每秒 10 個 token。對於 IQ2_XXS 版本，上下文大小可達 800K；在短上下文情況下，預填充速度為每秒 500 個 token，生成速度為每秒 30 個 token。然而，使用長上下文時，性能下降至預填充每秒 129 個 token 和生成每秒 3 個 token。

微調與雲端部署

Mistral Large 4 提供了使用 TRL 進行微調的 Day 0 支持。該微調腳本在由 8 台 B300 組成的節點上運行 FP8 變體。此外，Mistral Large 4 也可在 Inference Endpoints 上使用，並提供在 8 台 NVIDIA H200 GPU 上部署的就緒配方。該配方使用 vLLM，將 FP8 權重通過張量和專家並行性分散到所有八張 GPU 上，並利用模型內建的 DSpark 草稿頭，通過推測解碼實現更快的生成速度。