EmbeddingGemma 2：開發者指南

Google 推出 EmbeddingGemma 2 多模態嵌入模型

EmbeddingGemma 2 是一款以 Gemma 4 架構開發的輕量級開源模型，採 Apache 2.0 授權。現代搜尋與檢索增強生成（RAG）應用常得同時處理技術文件、原始碼、影像、影片和音訊，這款模型就是針對這個問題設計。EmbeddingGemma 2 會把這五種輸入資料映射到同一個 768 維向量空間，做跨模態檢索。

模組化架構與參數配置

EmbeddingGemma 2 採模組化設計，開發者可依需求動態載入特定編碼器，以節省記憶體。所有編碼器都投影到相同的相容向量空間，因此不同配置產生的嵌入結果可以互相比較。模型有四種參數量配置： * 270M 參數：只有文字與程式碼編碼器，適合純文字或程式碼檢索。 * 440M 參數：加入視覺編碼器，支援文字、影像、影片及視覺文件（如 PDF、簡報、圖表）。 * 570M 參數：加入音訊編碼器，支援文字與音訊處理。 * 740M 參數：完整多模態模型，涵蓋全部五種輸入類型。

技術上，文字與程式碼部分使用調整過的 Gemma 4 解碼器，上下文視窗為 8,192 個 token。視覺編碼器額外增加 170M 參數，音訊編碼器額外增加 300M 參數，可直接處理原始音訊輸入。在裝置端 RAG 管線中與 Gemma 4 搭配使用時，兩者共用相同的文字 tokenizer 與音訊編碼器架構，總記憶體佔用因此進一步降低。

程式碼實作與任務提示

開發者可透過 sentence-transformers 函式庫（6.1.0 版或更新）載入模型。要壓低記憶體用量，可在載入時把用不到的編碼器配置設為 None。例如只載入文字與程式碼編碼器時，把 `vision_config` 與 `audio_config` 設為 None，既省下權重記憶體，也降低峰值記憶體配置。

針對檢索任務，模型訓練時使用了短任務指令來引導表示。處理多模態輸入時，例如同時含有文字、影像與影片的產品清單，可在文字中插入 `<|image|>` 或 `<|video|>` 標記，指定各項目的位置，再傳入對應的媒體檔案路徑、URL 或記憶體中的物件。影片預設每秒取樣一幀，音訊則須為 16 kHz 單聲道。

Matryoshka 表示學習與維度截斷

EmbeddingGemma 2 支援 Matryoshka Representation Learning (MRL) 技術，可把 768 維向量動態截斷成 512、256 或 128 維，同時保持單位長度向量。這項技術的目的是降低向量資料庫的儲存需求，同時維持檢索效能。

在 bfloat16 精度下，儲存一百萬個 768 維向量約需 1.5 GB 記憶體；截斷到 128 維後只需 250 MB，儲存需求減少六倍。維度選擇建議如下： * 768d 或 512d：適用於多模態與視覺文件檢索，或召回率比儲存空間更重要的場景。 * 256d：儲存需求減少三倍，文字與程式碼保留大部分原始品質，影像、影片與語音檢索品質約維持 95%。 * 128d：儲存需求減少六倍，適合大型純文字索引或第一階段篩選。文字與程式碼品質約保留 90%，但多模態檢索品質降到約 75%，部署前需針對目標資料驗證。

效能基準與資源獲取

根據 MTEB (Code) 基準測試，EmbeddingGemma 2 的表現比前代 EmbeddingGemma 1 高出 14%，同時新增影像、影片與音訊檢索支援，並保留多語言文字檢索的準確性。開發者可從 Hugging Face 下載模型權重，並透過 vLLM、Hugging Face Transformers、SGLang、MLX、Ollama、LMStudio 及 LiteRT 等工具運行。此外，Google AI Edge Gallery 提供即時媒體搜尋與影片時刻查找等裝置端示範，供開發者了解多模態嵌入的實際應用。