HybridInfer：熱感知強化學習路由，優化端邊雲 LLM 推理

手機端 LLM 推理面臨 GPU 崩潰風險

在行動裝置上跑小型語言模型（LLM），資料可以留在本地、能離線用、也不用按次付費，所以只要設備夠力，通常會優先選擇端側執行。不過這種做法會遇到熱力學限制的嚴格約束。研究發現，這個限制不只是讓效能變慢，還會讓系統不穩定。在搭載旗艦級 Snapdragon 處理器的裝置上，持續在端側跑文字生成會讓 GPU 推理執行環境崩潰，甚至連續跑幾個查詢後就無聲凍結（silently wedges）。

進一步分析指出，這類故障源自目前工具鏈的問題，特別是 OpenCL 核心編譯，以及長提示詞（long-prompt）在行動 GPU 上的預填充（prefill）過程。值得注意的是，這種失敗跟設備當下的溫度沒有關係——就算裝置是冷機狀態，問題還是會發生，而且在長時間生成任務中最嚴重。

HybridInfer 熱感知強化學習路由器

為了解決單一層級的效能瓶頸與穩定性問題，研究提出 HybridInfer，一種熱感知強化學習路由器。系統採三層架構：端側的 Llama 3.2 3B、支援檢索的邊緣側 Llama 3.1 8B，以及雲端側的 GPT-4o。HybridInfer 拿手機的熱容量餘裕（thermal headroom）與查詢複雜度估計當作狀態輸入，透過離線訓練的 Q-learning 政策來選擇該用哪個執行層級。

它的獎勵機制在品質、延遲、成本與熱懲罰之間取得平衡，同時給端側執行一個「本地性獎勵」（locality bonus）。研究顯示，這個本地性獎勵是做到熱感知路由的必要條件；沒有這個獎勵，最佳政策會傾向把所有查詢都轉送到其他層級，端側就完全派不上用場。

真實硬體環境下的效能評估

HybridInfer 在真實的 Android 硬體環境中做了評估，測試平台是 Samsung Galaxy S25+，搭載 Snapdragon 8 Elite 處理器。評估工作負載包含 210 個提示詞，並使用凍結的黃金參考答案來比對。結果顯示，學習到的路由器在成本最低的情況下，品質明顯高於兩種手動調整的啟發式演算法（配對 Wilcoxon 檢定，p < 0.02）。

效能表現上，一直維持端側執行雖然在可服務的查詢上能跟單次查詢的品質打平，但速度比路由策略慢三到六倍，處理長查詢時還會失敗。所以 HybridInfer 路由策略贏在延遲、可靠性與覆蓋範圍，而不是單純比品質。研究人員表示，這是第一次利用端側熱容量餘裕，在真實硬體上針對不同能力的 LLM 推理層級做選擇的實證研究。

研究貢獻與資料公開

現有的跨層級路由器通常對熱狀態沒有感知，而且大多是在模擬環境或非行動硬體上做評估。HybridInfer 補上了這塊空白，第一次把熱感知機制用在真實行動裝置的三層 LLM 推理調度上。為了讓學界能夠復現與驗證，研究團隊已經公開 Android 測量工具鏈以及完整的路由與評估管線，程式碼與資料可透過指定網址取得。這項研究由 Simran Koul 撰寫，2026 年 7 月 14 日提交至 arXiv，屬於機器學習領域。