本地 AI 真正在用的模型，可能是最不起眼的那一種

今天 Google 發了 EmbeddingGemma 2，一個輕量的開源多模態嵌入模型，文字、程式碼、圖片、影片、音訊，全部丟進同一個 768 維的向量空間。同一天，電腦王阿達介紹了一個叫 DigUp 的免費開源工具，底層就是這顆模型：你用自然語言描述內容，它去找圖片、PDF、影片、程式碼，全程在本機跑，不用記檔名。 大家談本地 AI，腦中浮現的多半是在筆電上跑一個縮水版聊天機器人。但我覺得本地端最先站穩腳跟的，不會是聊天，而是搜尋。聊天模型小了就明顯變笨，嵌入模型小了卻還堪用，因為它的工作不是「想出答案」，而是「判斷兩個東西像不像」。這個任務對參數量的胃口小很多。 這份指南裡我覺得最實用的是 Matryoshka 表示學習。簡單說，向量前面的維度先裝最重要的資訊，所以你可以直接把 768 維截短，不用重新訓練。算個帳：768 維 float32 一筆約 3 KB，一百萬筆約 3 GB；截到 256 維就剩約 1 GB。對雲端向量資料庫來說是帳單砍三分之二，對 DigUp 這種跑在你硬碟旁邊的工具來說，是索引檔小到能直接塞進筆電。開發者用 sentence-transformers 就能載入不同參數量的編碼器，在檢索品質和儲存之間自己調。 另一個容易被忽略的點是「統一空間」。以前要搜影片得先轉字幕、搜圖片得先加標籤，等於每種檔案各蓋一套流程。現在一個模型把它們放在同一張地圖上，用一句話就能同時撈到相關的 PDF 和一段錄影。RAG 團隊少維護好幾條 pipeline，這比跑分好看更實在。 同一天還有 Mistral 的 Voxtral 3，支援 50 多種語言的即時語音 Agent SDK，Google 也發了機器人用的 Gemini 4 Argon，這些都是讓人想轉發的新聞。但如果要我賭哪個東西會悄悄出現在最多產品裡，我賭嵌入模型。它不會上發表會主舞台，卻會躲在你每一次「我記得有個檔案但想不起名字」的背後。 下一波本地 AI 的爆款，大概不叫助理，叫搜尋框。