EmbeddingGemma 2：開發者指南

Google 推出 EmbeddingGemma 2 多模態嵌入模型

Google 於 2026 年 10 月 6 日發布 EmbeddingGemma 2，這是一款基於 Gemma 4 架構的輕量級開源模型，採用 Apache 2.0 授權。該模型目的是解決現代搜尋與檢索增強生成（RAG）應用中，需同時處理技術文件、原始碼、影像、影片及音訊等多樣化內容的挑戰。EmbeddingGemma 2 能將上述五種不同類型的輸入資料，映射至統一的 768 維向量空間，在維持低延遲運算的同時，提供卓越的跨模態檢索準確率。

模組化架構與參數配置

EmbeddingGemma 2 採用模組化設計，開發者可在執行階段僅載入所需的編碼器，以優化記憶體使用。模型提供四種參數量配置，皆投影至相容的向量空間： * 270M 參數：專為文字與程式碼設計，採用具備 8,192 個 token 上下文視窗的 Gemma 4 解碼器。 * 440M 參數：在文字基礎上加入視覺編碼器，支援影像、視覺文件（如 PDF、簡報、圖表）及影片幀。 * 570M 參數：在文字基礎上加入音訊編碼器，可直接處理原始音訊輸入。 * 740M 參數：完整多模態模型，整合所有上述功能。

此架構允許開發者根據需求動態調整。例如，若僅需處理文字，可設定 `vision_config` 與 `audio_config` 為 `None` 以節省記憶體；若需處理文字與影像，則僅禁用音訊編碼器。此外，當與 Gemma 4 搭配使用於裝置端 RAG 管線時，兩者共用相同的文字分詞器與音訊編碼器架構，進一步降低總記憶體佔用。

開發實作與任務提示

開發者可透過 `sentence-transformers` 函式庫（版本 6.1.0 或更新）進行整合。安裝時需包含 `[image,audio,video]` 套件以支援多模態功能。在載入模型時，可透過 `config_kwargs` 參數精確控制啟用的編碼器，確保未使用的編碼器不會被載入記憶體。

為提升檢索效能，EmbeddingGemma 2 訓練時使用了短任務指令來引導表示。在進行檢索時，查詢與文件應使用不同的 `prompt_name`。例如，查詢使用 `SearchQuery`，而文件使用 `Document`。對於多模態輸入，開發者可將媒體以字典形式傳遞，鍵名對應模態類型（如 `image`、`video`、`audio`）。若需將文字與媒體混合嵌入，可在文字中使用 `<|image|>`、`<|video|>` 或 `<|audio|>` 標記位置。所有模態生成的嵌入向量均位於同一維度空間，可直接比較其語義相似度。

Matryoshka 表示學習與維度截斷

模型支援 Matryoshka Representation Learning (MRL) 技術，允許動態截斷向量維度以減少儲存需求。開發者可設定 `truncate_dim` 為 512、256 或 128，並搭配 `normalize_embeddings=True` 使用。查詢與文件必須使用相同的維度設定。

維度選擇對儲存空間與效能有顯著影響： * 768d 或 512d：適合多模態與視覺文件檢索，或在召回率優先於儲存空間的情境下使用。 * 256d：提供 3 倍儲存空間減少。在文字與程式碼上保留大部分原始品質，在影像、影片與語音檢索上保留約 95% 品質。 * 128d：提供 6 倍儲存空間減少。文字與程式碼保留約 90% 品質，但影像、影片與語音檢索品質降至約 75%。建議在部署 128d 多模態查詢前，先在目標資料上進行驗證。

以 bfloat16 精度為例，儲存一百萬個 768 維向量約需 1.5 GB 記憶體，而截斷至 128 維僅需 250 MB。此 6 倍減幅允許在相同記憶體預算下儲存六倍的嵌入向量，便於將大型索引放入記憶體或裝置端。

效能基準與輸入限制

根據 MTEB (Code) 基準測試，EmbeddingGemma 2 的表現比前代 EmbeddingGemma 1 高出 14%，同時新增對影像、影片與音訊的檢索能力，並保留多語言文字檢索的準確率。

所有模態共用 8,192 個 token 的上下文視窗。輸入媒體可透過檔案路徑（影片為 MP4）、URL（影像與音訊）或記憶體中的 PIL 影像、陣列與張量傳遞。影片預設每秒取樣 1 幀，音訊應為 16 kHz 單聲道。開發者可透過 Hugging Face 下載權重，並利用 vLLM、Hugging Face Transformers、SGLang、MLX、Ollama、LMStudio 及 LiteRT 等工具進行高效能運行。此外，Google AI Edge Gallery 提供即時媒體搜尋與影片時刻尋找等裝置端示範，供開發者探索多模態嵌入應用。