Mistral 推出 Voxtral 3：支援 50 種語言的即時語音 Agent SDK

Mistral AI 正式發布 Voxtral 3，這是一套為即時多步驟對話設計的語音 Agent SDK，同時推出一系列語音模型。這項技術要解決的是建構端到端語音代理的難題：把聽覺接收、邏輯推理、工具呼叫與語音輸出放進同一條即時串流管線。它支援超過 50 種語言，具備高精確度的語音轉文字、能依情境調整情感的語音合成，以及與系統工具的深度整合，適用於客服中心、虛擬助理及免持式協作工具等場景。

核心技術架構與即時串流能力

Voxtral 3 的語音 Agent SDK 建構在 LiveKit 之上，從聽覺輸入到語音輸出都以串流方式處理。聽覺感知、邏輯推理與語音生成這幾個階段，各由獨立模型負責，因此開發者可以單獨替換大型語言模型、語音風格或支援語言，不必重寫整個代理程式。即時對話中，使用者一插話，代理就會立刻停止發聲；每個回合的處理時間不到一秒，讓人機互動保持流暢。

該 SDK 支援透過 SIP 撥打與接聽電話，也能利用 WebRTC 在瀏覽器與應用程式中運行。它可以直接連接現有的電話網路、互動式語音回應系統與客服中心軟體。在推理階段，代理可結合函數呼叫、網頁搜尋，以及對自有系統的檢索功能，處理身份驗證、帳單查詢、預約安排等較複雜的任務。

語音轉文字模型：多語言與情境偏置

在聽覺感知方面，Voxtral 3 新增多款模型，其中 Voxtral Small Transcribe 3 定位為準確率最高的語音轉文字模型。它支援超過 50 種語言，包含 24 種歐盟官方語言及多種亞洲與印度語言，在多語言轉錄與說話人分離（Diarization）任務上達到業界領先水準。它在英語、法語和西班牙語等語言上的表現優於 Whisper、Scribe v2 及 Gemini 3.5 Transcribe。

為提高專業領域的轉錄精確度，該模型支援情境偏置（Context Biasing）。開發者可提供關鍵詞或自由文本，引導模型更準確地辨識特定技術術語，不必微調就能用於生產環境。此外，Voxtral Mini Transcribe 3 擁有 40 億參數，提供低成本、快速的轉錄服務，價格為每分鐘 0.0035 美元。針對即時應用，Voxtral Mini Transcribe Realtime 3 能在 35 種以上語言中做到低於 500 毫秒的延遲，並原生支援終止語句檢測：結合聲學與語義資訊，判斷使用者是否已經說完，藉此降低誤切斷率。

語音合成：情感表達與方言支援

Voxtral Mini TTS 3 專注於自然語音生成，支援 35 種語言及 50 種以上方言。它能根據對話上下文自動調整情緒、語速與強調重點，不需額外指令就能產生韻律自然的語音。定價為每百萬字元 13 美元，低於 OpenAI TTS-1、Deepgram、ElevenLabs Flash 及 Gemini Flash 等競爭對手。

該技術支援語音克隆，只需 30 分鐘的採樣音訊，就能複製說話者獨特的音色、情感範圍與風格，這項功能稱為 Pro Voice。開發者可透過明確變數控制情緒、語速與強調，並利用自訂提示指令遵循功能及詞彙庫，確保企業級部署中的語音可靠性。

部署選項與定價策略

Voxtral 3 家族強調數據主權。組織可以選擇透過 Mistral 的歐洲主機 API 使用，也可以把模型部署在自有基礎設施與私有雲端中，完全掌控音訊處理位置、數據管理及對話留存政策。目前透過 Mistral API 提供的定價如下：Voxtral Mini Transcribe 3（批次）為每分鐘 0.0035 美元，Voxtral Small Transcribe 3 為每分鐘 0.0040 美元，Voxtral Mini Transcribe Realtime 3 為每分鐘 0.008 美元。語音合成方面，Voxtral Mini TTS 3 為每百萬字元 13 美元。若需搭配 Mistral Small 4 進行推理的完整語音 Agent API，費用為每分鐘 0.04 美元，使用更大的模型則為每分鐘 0.08 美元。