研究突破
Qwen3.5-Omni 技術報告發佈:百億參數多模態模型達到業界最強水準
Qwen3.5-Omni Technical Report

arXiv cs.CL · 2026-04-20
摘要
阿里開源團隊發佈 Qwen3.5-Omni 模型,規模達數百億參數,支援 256k 上下文長度,整合文字、視覺和音頻多模態能力。在 215 項音頻和音視頻理解、推理、互動任務上達到業界最強(SOTA),超越 Gemini-3.1 Pro 在多項音頻任務的表現,並支援超過 10 小時音頻處理和 400 秒視頻理解。
阿里開源團隊正式發佈 Qwen3.5-Omni,這是 Qwen-Omni 模型家族的最新進展。該模型規模達到數百億參數,支援 256k 上下文長度,並利用包含異質文字 - 視覺對以及超過 1 億小時音視頻內容的大規模數據集,展現出強大的多模態能力。
在性能表現上,Qwen3.5-Omni-plus 在 215 個音頻和音視頻理解、推理及互動子任務與基準測試中達到業界最強(SOTA)水準。該模型在多項關鍵音頻任務上超越 Gemini-3.1 Pro,並在綜合音視頻理解方面與 Gemini-3.1 Pro 持平。架構方面,Qwen3.5-Omni 採用混合注意力機制與專家混合(MoE)框架,同時應用於 Thinker 和 Talker 模組,以實現高效的長序列推理。
該模型支援超過 10 小時的音頻理解以及 400 秒的 720P 視頻(1 FPS)理解。針對流式語音合成中因編碼效率差異導致的不穩定和不自然問題,團隊引入 ARIA 技術。ARIA 動態對齊文字和語音單元,顯著提升了對話語音的穩定性和語調,同時將延遲影響降至最低。
在語言與功能擴展上,Qwen3.5-Omni 支援 10 種語言的理解與語音生成,具備人類般的情感細微差別。模型展現出優異的音視頻錨定能力,能生成具有精確時間同步的腳本級結構化字幕,並實現自動場景分割。研究還觀察到多模態模型出現了一種新能力:直接根據音視頻指令執行編碼,即「Audio-Visual Vibe Coding」。
●開發者:可基於 Omni 架構開發多模態應用,Hybrid Attention MoE 框架提供高效推理方案
●投資人:多模態大模型領域競爭加劇,開源模型追上閉源領先者
●一般用戶:未來應用可支援更長音頻對話和複雜多模態互動
重要性評分
🟠 值得關注
喜歡這篇?每天早晨還有更多。
訂閱 5min AI,讓 AI 替你追蹤整個 AI 世界。
相關指南

AI 自己改進自己(RSI):Google、OpenAI、Anthropic 官方到底說了什麼
OpenAI、Anthropic、Google 都在談 AI 參與研發下一代 AI(RSI)。整理三家官方文件的原話與數字,分開傳言與事實:誰說了什麼、誰說還沒到。
閱讀指南 →
Google AI Studio Vibe Coding 教學:快速原型開發實戰
深入解析 Vibe Coding 是什麼,並提供 Google AI Studio 使用教學。透過 Google 程式碼生成技術,快速建立原型,提升開發效率。
閱讀指南 →
Perplexity vs ChatGPT:2026 搜尋與對話 AI 工具比較
深入比較 Perplexity vs ChatGPT 2026 版本,分析 perplexity 和 chatgpt 差異,解答 perplexity 好用嗎,並提供最佳 ai 搜尋工具推薦與選擇建議。
閱讀指南 →🤖 本文摘要由 AI 自動生成,內容源自原始報導。如有疑慮,請參閱關於我們。
喜歡這篇?每天早晨還有更多。
訂閱 5min AI,讓 AI 替你追蹤整個 AI 世界。