higurashi-ai 發布 Haru-4B：支援低延遲多語全雙工語音對話的基礎模型

higurashi-ai 發布 Haru-4B 基礎模型

higurashi-ai 發布了預訓練基礎模型 Haru-4B，專為低延遲、多語言的全雙工連續語音對話設計。這是一個開放供研究使用的基礎模型，特色是能像人在講電話時一樣，一邊聽一邊說，不必等對方講完。模型以 Apache License 2.0 授權發布。

全雙工架構與技術規格

Haru-4B 原生支援全雙工，運行頻率為每秒 7.5 幀（7.5 Hz）。每一幀間隔 133 毫秒，模型會接收一幀使用者音訊，同時產生一幀自己的音訊與文字。為了把聽和說整合在一起，模型把使用者音訊、模型自身音訊和模型文字加總到語言模型的同一個位置，所以聽與說不會互相等待。

音訊處理上，Haru-4B 以 64 維潛在向量表示每一幀音訊。模型內部沒有獨立的音訊轉換器，也不使用離散音訊標記。取而代之的是，一個小型多層感知機（MLP）頭部搭配 MeanFlow 採樣，只要一個採樣步驟，就能從語言模型的隱藏狀態直接產生音訊。這個音訊頭部有 4 層 MLP，支援 1 至 2 的引導比例，預設值為 1.5。

語言支援與角色控制

Haru-4B 支援英語、西班牙語、葡萄牙語、德語、法語、中文、日語、俄語和韓語。角色與聲音可以分開設定：角色特徵用文字卡片設定，聲音則用一段短參考音訊。模型本身沒有內建聲音片段，使用者必須自行上傳或錄製，音訊要求為單一說話者、長度介於 3 秒至 3 分鐘之間，且是乾淨的語音。官方強調，使用者只能使用自己擁有合法權限的聲音。

系統架構與實作方式

Haru-4B 的語言模型後端採用 Qwen3.5-4B 文本骨幹，共 32 層，隱藏層大小為 2560。音訊編碼器使用 VibeVoice 聲學標記化器，為因果結構，運作頻率為 24 kHz，每幀包含 3200 個樣本。模型權重以 bfloat16 格式儲存，內容包括語言模型權重、音訊輸入投影層、MeanFlow 頭部和音訊編碼器權重。

程式碼已在 GitHub 公開，包括 PyTorch 實作與網頁示範、MLX 實作與原生 macOS 應用程式，以及用於 vLLM-Omni 服務的插件。如果使用者的 NVIDIA GPU 約有 12 GB 記憶體，可以透過指令列安裝並啟動伺服器。官方建議使用有線耳機與有線麥克風以降低延遲，因為藍牙裝置可能增加 100 毫秒或更多的延遲。

使用限制與下載資訊

Haru-4B 是預訓練基礎模型，主要用於研究。它能維持自然的對話，但不是可靠的事實來源，也不像助手模型那樣嚴格遵循指令。該模型上個月的下載量為 165 次，並被 1 個 Hugging Face Space 使用。使用者在開發與應用時，應留意它是基礎模型，也要確保聲音的使用具備合法權限。