ML Drift：Google 推出新一代 GPU AI/ML 邊緣推論框架

Google AI Edge Team 宣布以 Apache 2.0 授權開源 ML Drift。這是一個高效能、跨平台的裝置端 GPU 運算引擎，專為裝置端 AI/ML 推論設計。ML Drift 把裝置端 GPU 在 OpenGL ES、OpenCL、Metal 和 WebGPU 上的硬體與低層級 API 複雜性抽象化。開發者可以跨多個平台建構即時、互動式的 ML 體驗，從進階影片效果到生成式 AI 都涵蓋在內。

ML Drift 是 LiteRT 內部的核心 GPU 加速引擎，也能當作獨立函式庫，用於自訂圖形與推論執行階段。它提供統一的基礎，讓各平台都能取得最高效能。Google AI Edge Team 指出，與資料中心推論不同，把 GPU 加速 AI 部署到邊緣裝置時，硬體多樣性相當顯著。開發者要面對各種 GPU 架構、驅動程式版本和低層級 API。

目前的裝置端工作負載範圍很廣，從即時電腦視覺、音訊和深度處理模型，到高參數的生成式 AI 都有。這些架構把消費級晶片推到極限，造成運算和記憶體瓶頸，而舊有執行階段並不是為了解決這些問題而設計的。這樣的轉變需要一個通用的工程基礎，確保傳統模型和下一代模型之間的可移植性與效能。Google AI Edge Team 指出，他們建構了單一、統一的框架，為傳統 ML 提供穩定性，也為最先進的生成式 AI 提供最高效能。

架構升級與技術革新

ML Drift 引入核心架構變更和結構升級，目標是超越舊有 TFLite GPU delegate，達到最高效能並擴大模型覆蓋範圍。ML Drift 透過張量虛擬化引入統一著色器，把張量的邏輯表示與其在 GPU 上的實體配置解耦。這個統一著色器模型不再需要維護分散的、各後端專屬的著色器程式碼庫，同時保留跨平台的模型可移植性。

ML Drift 採用現代化的自訂 op 框架，提供直接註冊 API 與低層級著色語言存取。ML Drift 包含 agentic SKILL.md 指南，讓編碼代理程式能在數分鐘內撰寫、註冊和驗證高效能的自訂著色器。開發者可以把專門的模型區塊直接整合進執行圖，大幅降低部署專有架構的門檻。

相較之下，TFLite GPU delegate 在結構上硬編碼為 4D 張量。ML Drift 在 LiteRT ML Drift GPU 加速器中支援 5D 張量，讓 LiteRT 能直接在邊緣 GPU 上執行複雜工作負載。這包括用於體積/空間 AI 的 3D 卷積網路，以及時空模型（例如 YOLO 11n、MobileViT v2 和 Swin Transformer v2）。

生態系整合與硬體協同

Google Chrome 將 ML Drift 整合進其 AI 執行階段基礎設施，用來驅動 Built-In AI APIs（包括 Prompt、Summarize 和 Writer APIs）背後、具備原生硬體加速的 Gemini Nano 模型。ML Drift 讓高效能的裝置端 AI 能在日益成長的網頁應用程式生態系中運行，從電商評論摘要到企業客戶工作流程都包含在內。

Cafe24 使用 Prompt API 進行標籤生成，並透過 ML Drift 加速。Adobe Lightroom 和 Adobe Photoshop 使用 ML Drift 升級了關鍵 AI 功能，包括選取主體、選取天空和適應性肖像，在行動裝置上讓專業級照片編輯效能最高提升 30%。Adobe Lightroom 透過行動版 LiteRT ML Drift GPU 加速器在裝置端運行。

Snap 整合 LiteRT，在 Android 裝置上以 GPU 驅動裝置端推論。ML Drift GPU 加速器讓 Snapchat 鏡頭中由 ML 驅動的臉部與風格生成器效果，模型延遲改善 30%。ML Drift 不只改善了以現有模型為基礎的用戶體驗，也擴大了可運行的擴散模型規模。

在硬體協同方面，Arm 針對 Mali 和 Immortalis GPU 共同最佳化運算核心和紋理快取局部性，確保行動裝置上的高吞吐量、省電推論。Intel 利用原生 WebGPU 運算和 Xe 矩陣延伸功能（XMX），加速搭載 Xe3 圖形的 Intel® Core™ Ultra 處理器上的客戶端 LLM 和視覺工作負載。Qualcomm Technologies, Inc. 最佳化 OpenCL 核心，以達到峰值的 ALU 和記憶體頻寬利用率，讓 Qualcomm® Adreno™ GPU 能進行高效的邊緣 AI 加速。透過與矽晶片領導廠商緊密合作，ML Drift 確保最先進的模型最佳化能轉化為用戶裝置上省電且高幀率的效能。

部署路徑與未來發展

ML Drift 發布後，舊有 TFLite GPU delegate 將不再接收新功能更新。Google AI Edge Team 鼓勵所有開發者轉換到 LiteRT ML Drift GPU 加速器。它對現有模型提供完全向後相容性，同時能立即在 Android、iOS、Web 和桌面端取得現代化的效能提升。

對於使用未捆綁執行階段、以縮小應用程式二進位檔大小的 Android 開發者，ML Drift 加速功能現在就能在獨立 LiteRT 套件中使用，Google Play Services 中的 LiteRT 也即將支援。

ML Drift 提供兩條簡潔的路徑：應用程式開發者可使用 LiteRT ML Drift 加速器，直接取得模型分割、張量虛擬化和最佳化 LLM 加速。GPU 與系統工程師則可透過 ML Drift GitHub 儲存庫，直接使用 ML Drift 的獨立 C++ API，建構自訂 `GpuModel` 運算圖並撰寫自訂著色器。

ML Drift 完全以 Apache 2.0 授權開源。Google AI Edge Team 歡迎貢獻、RFC 和社群回饋。原始碼位於 github.com/google-ai-edge/ml-drift。問題追蹤器與功能請求可透過 GitHub 提交 Issue。