高效能邊緣 RAG：在 Snapdragon X Elite 的行動 NPU 上實現端到端部署

研究團隊在 Qualcomm Snapdragon X Elite 晶片的 Hexagon NPU 上，首次實現了涵蓋 embedding、reranking 與 LLM 生成全流程的端到端 RAG 管道。這項研究針對 Dell XPS 13 筆電進行效能分析，將 NPU 加速方案與 CPU 及 OpenCL/Adreno GPU 基線進行對比，解決了 CPU 推理導致的高能耗問題。

在索引（indexing）階段，NPU 的 embedding 吞吐量比 CPU 高出 9.1 倍，且系統能耗降低 12.3 倍。針對包含 120 個查詢的 Wikipedia-passage 基準測試，NPU 的 LLM prefilling 速度比 CPU 快 18.1 倍，整體查詢延遲降低 4.0 倍，系統能耗同樣降低 4.0 倍。相比之下，整合式 GPU 在相同工作負載下比 CPU 慢 1.7 倍，且能耗是 NPU 的 6.5 倍。

在答案品質方面，GPT-4.1 LLM-as-judge 評估顯示，NPU 生成的答案品質與 CPU 和 GPU 相當，三者評分均值分別為 9.32、8.95 與 9.03（滿分 10 分）。數據顯示，86.7% 的查詢在所有三個後端獲得了相同的評分，證明在 Snapdragon X Elite 上實現高效能 RAG 不會導致品質下降。研究團隊預期此方法可推廣至 Apple Neural Engine、Intel NPU 及 MediaTek APU 等具備軟體堆疊成熟度的行動 NPU 平台。