研究突破
MiniCPM-o 4.5：邁向實時全雙工全能態互動
MiniCPM-o 4.5: Towards Real-Time Full-Duplex Omni-Modal Interaction
arXiv cs.CL2026-05-01
摘要
MiniCPM-o 4.5 突破了多模態大型語言模型的交互瓶頸，實現了能同時看、聽、說的實時全雙工能力，打破了感知和響應交替進行的傳統模式。這個模型還具備主動行為能力，能在多模態環境中主動發出提醒或協作，代表著朝向人類般自然交互的重大進步。
多模態大型語言模型（MLLM）的進展已將 AI 能力從靜態離線數據處理帶入實時串流互動，但目前的關鍵瓶頸已不再是模態覆蓋或延遲，而是互動範式本身。現有模型仍將感知與回應分為交替階段，導致無法在生成過程中即時整合新輸入以進行調整，且大多數模型僅對明確的用戶請求做出被動回應，缺乏在多模態環境中主動行動的能力。
MiniCPM-o 4.5 透過實時全雙工全能態互動解決了這些差距，能夠同時看、聽、說，並在理解即時場景的基礎上主動發出提醒或評論。其核心技術 Omni-Flow 是一個統一的串流框架，將全能態輸入與輸出沿著共享的時間軸對齊，將傳統的輪流互動轉換為全雙工、時間對齊的過程，使感知與回應能同時發生，並在同一框架內產生主動行為。
在效能與規模方面，MiniCPM-o 4.5 擁有 9B 參數，其視覺語言能力已接近 Gemini 2.5 Flash，並在該規模下提供最佳的開源效能。該模型在全能態理解上超越了 Qwen3-Omni-30B-A3B，並提供更優異的語音生成，同時具備顯著更高的計算效率。得益於其高效的架構設計與推理優化，該模型可在少於 12GB RAM 成本的邊緣裝置上執行實時全雙工全能態互動。
●開發者：可基於全雙工交互範式開發更自然的語音應用和實時協作工具
●投資人：多模態互動技術領域正進入新階段，相關應用場景商業化潛力巨大
●一般用戶：未來的語音助手和實時應用將更貼近真實對話，交互體驗將大幅提升
重要性評分
🟠 值得關注
喜歡這篇？每天早晨還有更多。
訂閱 5min AI，讓 AI 替你追蹤整個 AI 世界。
相關指南
LLM 是什麼？5 分鐘白話文解釋大型語言模型運作原理
LLM（大型語言模型）是什麼？本文用白話文解釋：LLM 是怎麼「學會」語言的、預測下一個字是怎麼回事、ChatGPT 和 Claude 都是 LLM，5 分鐘看懂核心原理。
閱讀指南
2026 大型語言模型深度解析：技術架構與應用場景全覽
2026 大型語言模型深度解析：從 Transformer 原理、1M tokens 上下文窗口到 AI 代理應用，整理 LLM 技術架構、應用場景與企業導入常見陷阱。
閱讀指南
Perplexity vs DeepSeek：AI 搜尋引擎與開發模型比較
Perplexity 與 DeepSeek 差異比較：Perplexity 附來源的 AI 搜尋與免費、Pro、Max 方案，DeepSeek 的 DeepThink、搜尋與依 token 計費的 API，幫你判斷 Perplexity 好用嗎、該選哪一個。
閱讀指南本文摘要由 AI 自動生成，內容源自原始報導。如有疑慮，請參閱關於我們。
喜歡這篇？每天早晨還有更多。
訂閱 5min AI，讓 AI 替你追蹤整個 AI 世界。