Google Cloud 原生整合 TPU 支援至 vLLM，優化長上下文多模態嵌入推論

Google Cloud 宣布將 TPU 支援原生整合進 vLLM 推論引擎，並透過 Google Kubernetes Engine (GKE) 實現嵌入管線的高彈性擴展，旨在解決處理如 Qwen3-Embedding-8B 等模型時，面對 15K+ token 長上下文的需求。

工程團隊實作了多項 TPU 專屬優化技術，包含硬體安全的張量對齊、JAX/XLA 編譯預熱，以及用於分塊預填充管理的混合 StepPool 架構，確保系統在處理大量上下文數據時的穩定性與效率。這些改進使 TPU 環境下的推論結果與參考 GPU 基準達成近乎完美的數值一致性，讓開發者在遷移或部署時，能獲得與 GPU 環境高度一致的計算結果，減少因硬體差異導致的精度損失。

為降低使用 TPU 進行大規模嵌入推論的門檻，Google 已將相關設定範例開源至 AI-Hypercomputer GitHub。開發者可直接利用這些開源的設定配方，立即建構高吞吐量的語義檢索應用，無需從零開始配置複雜的硬體與軟體環境，提供了即用的最佳實踐方案。