📝 主編觀點 · 職涯衝擊分析2026-04-14
AI Agent 從雲端搬進你的電腦,工程師的工作流要重寫了
AMD 上週發了一份本地 AI Agent 開發指南,這件事的意義比表面看起來大很多。
過去兩年,大家習慣了 AI 就是「連上 API、打錢給 OpenAI、然後等回應」這套流程。但 AMD 現在告訴你:Agent 可以直接跑在你的機器上,低延遲、不出網、資料不離開本地。這對某些場景來說是關鍵差異——醫療記錄、企業合約、客戶資料,這些東西根本不適合上雲。
對工程師來說,這意味著什麼?
你要開始學兩套架構了。雲端 Agent(快速迭代、模型新鮮、scalable)跟本地 Agent(低延遲、離線可用、合規友善)的設計思路不一樣。前者你用 API 串就好,後者你要搞清楚記憶體管理、量化模型選型、硬體加速怎麼設定。以前會用 LangChain 就夠了,現在你還需要知道 ONNX runtime 是什麼、llama.cpp 怎麼調參數。
這不是壞事,但門檻確實提高了。
PM 和設計師也要注意:本地 AI 代表產品設計思路要跟著變。你不能再假設用戶永遠在線、模型永遠是最新版、推理速度永遠夠快。你需要開始為「降級模式」設計體驗——當本地模型能力有限,使用者看到的是什麼?這在雲端優先的時代幾乎沒人想過。
Cloudflare 同步把 GPT-5.4 和 Codex 整進企業 Agent Cloud,這是另一個極端:把 Agent 部署做到讓企業一鍵上線,降低工程門檻。一邊是 AMD 把 Agent 推到邊緣端,一邊是 Cloudflare 把雲端部署標準化。這兩個方向同時在跑,代表 Agent 開發者很快就要面對「我的 Agent 應該跑在哪裡」這個不再有預設答案的問題。
現在是個好時機,去認真研究一下本地 LLM 的生態系。Ollama、llama.cpp、LM Studio,這些工具不再是玩具,它們正在變成生產環境的選項。先動手跑一個本地 Agent,比讀十篇分析文章還管用。