Google Play services 內建 LiteRT 支援 GPU 推論，App 體積可減 8 MB

Google Play services 內建 LiteRT 支援 GPU 推論，App 體積可減 8 MB

Google AI Edge Team 於 2026 年 10 月 28 日宣布，Google Play services 已內建 LiteRT，這是 Android 裝置上用於自訂模型推論的執行環境，每日處理超過一兆次推論，覆蓋數十億台裝置。此次更新被稱為該執行環境歷來最大規模的升級，主要亮點在於透過 ML Drift 技術提供 GPU 推論支援，其效能比舊有的 GPU delegate 提升約 1.4 倍。這項新功能透過新的 CompiledModel API 提供，該 API 是 LiteRT 中取代舊有 Interpreter API 的現代化後繼者。

過去，開發者若想利用更快的 GPU 堆疊，必須將 LiteRT 打包進自己的應用程式中。根據 Google 的測試結果，改用 Google Play services 內建 LiteRT 的應用程式，其體積可減少約 8 MB。這使得應用程式下載速度更快，並節省使用者裝置的儲存空間。原因是執行環境，包含 GPU 加速器，僅隨 Play services 分發一次，而非嵌入每個應用程式中。目前超過 100,000 個 Android 應用程式仍自行打包 LiteRT 或 TensorFlow Lite，隨著更多應用程式遷移，儲存空間的節省效益將顯著累積。

採用 LiteRT in Play services 的優勢

開發者採用 Google Play services 內建的 LiteRT 可獲得多項即時效益。首先，由於 APK 中不再打包機器學習執行環境，應用程式體積更小，下載速度更快。此外，由於應用程式共享同一個執行環境，隨著更多應用程式遷移，儲存空間與記憶體節省效益會隨之增長。

其次，效能改進、錯誤修復與安全修補程式可透過 Play services 的分階段發布自動更新，這能及早發現特定裝置的問題，且開發者無需發送應用程式更新。在執行環境支援方面，LiteRT in Play services 支援 Android 7（API level 24）以上的智慧型手機，現在也支援 Wear OS 4+ 以及 Android Automotive OS（Android 11+）。

在規模測試方面，ML Kit 的 Vision 和 Text API，例如 Subject Segmentation 和 Document Scanner，已在全球數十億台 Android 裝置上透過 LiteRT in Play services 大規模運作。開發者採用此技術，即是在自己的應用程式中使用同樣經過實戰考驗的基礎設施。Google AI Edge Gallery 應用程式中的 Scrapbook 功能，其影像分割功能即運行於 Google Play services 內建的 LiteRT 上，可供開發者參考實作。

CompiledModel API 與遷移方式

LiteRT 是 TensorFlow Lite 的演進版本，保留了開發者依賴的 .tflite 模型格式，並新增 CompiledModel API，以確保在碎片化硬體上的加速效能可靠。此 API 提供單一工作流程供 CPU 和 GPU 加速使用，取代了過去為每個加速器設定不同 delegate 的路徑。LiteRT 在可用時使用 OpenCL，否則使用 OpenGL；若同時請求 GPU 和 CPU 加速，且裝置沒有可用的 GPU，則會回退至 CPU。

Powered by ML Drift，LiteRT 最新的開源 GPU 引擎已每日在 Google 應用程式的數百萬台裝置上使用。GPU 推論速度比舊有的 TensorFlow Lite GPU delegate 快約 1.4 倍。此外，該技術支援跨平台，相同的 .tflite 模型可在 Android、iOS、桌面和網頁上運行。舊有的 Interpreter API 在 CPU 上仍受支援，允許開發者分階段遷移。

開發者如何開始與升級

無論是新開發或從打包的 LiteRT 切換，使用 Google Play services 內建的 LiteRT 只需幾行程式碼。開發者需新增 `com.google.android.gms:play-services-litert:17.0.0`（或更新版本）的相依套件。若目前打包 LiteRT，則需移除 litert 相依套件。接著，透過 `LiteRt.initialize` 從 Play services 取得 LiteRT 環境，並在建立 CompiledModel 時傳入該環境，其餘程式碼保持不變。

若開發者已在 Google Play services 中使用舊有的 Interpreter API，切換至 `play-services-litert` 後，Interpreter 程式碼在 CPU 上仍可運作。若要使用 GPU，則需遷移至 CompiledModel API。為簡化流程，Android Studio 新增了 LiteRT 技能，在 Agent Mode 下可自動化遷移至 Google Play services 內建的 LiteRT 及 CompiledModel API。開發者可要求 AI 代理程式將 TFLite 程式碼遷移至 CompiledModel，或輸入 `@litert-runtime`，系統將自動切換相依套件、重寫 Interpreter 呼叫並設定 GPU 加速與 CPU 回退。開發者應審查差異、建置並在實體裝置上比較輸出結果。

舊版 API 停用與未來展望

舊有的 GPU delegate 和自訂 delegate API 已遭棄用，取而代之的是 CompiledModel GPU 加速、Compiler Plugin 和 Dispatch API。NNAPI 將於 2027 年起被移除。較舊的 SDK 現在僅接收關鍵安全修補程式。已發布的應用程式仍可運作，但開發者應規劃遷移至 CompiledModel API，因為使用棄用 API 的程式碼將無法在最新 SDK 中編譯，且停留在舊 SDK 可能導致與其他向前移動的相依套件發生衝突。

展望未來，Google 將持續定期更新 Google Play services 內建的 LiteRT，包括更好的 GPU 加速與更廣泛的模型覆蓋範圍。目前，Play services 中的 NPU 支援正在積極開發中。開發者可閱讀相關文件、嘗試 Android Studio 的 LiteRT 技能，或在 GitHub Discussions 尋求協助。