AI 隱藏的儲存帳單：推論（Inference）留下的數據成本

多數企業高層在評估 AI 成本時，往往只關注 GPU、加速器機架的龐大電力消耗以及晶片缺貨的等待名單，卻忽略了數據儲存成本。模型回應後產生的後端數據，包括每日數十億次的提示、圖像和影片，都需要被儲存。數據儲存是基礎設施成本中較難規劃的一環，常在初始的 AI 基礎設施規劃中被忽視。隨著推論規模擴大，數據足跡也會隨之增長。

傳統上，AI 基礎設施的討論集中在模型訓練這一計算密集型過程。訓練是有限的：一次運行開始，消耗算力，然後結束。然而，推論是持續運行的，每次模型回答提示時都會發生。對於基礎設施規劃而言，這一差異至關重要：訓練運行是一個可以預算並結案的專案，但推論不會結束；每一次推論請求都會留下痕跡。

以 AI 生成影片為例，此類工作負載的後端支出可能非常顯著。根據 WD 的內部測量，一個交付給用戶的 8 秒長、大小為 3.97MB 的 720p 影片片段，在後端留下了超過 5 億字節的數據。這顯示出推論階段產生的數據量遠大於最終交付給用戶的檔案大小，突顯了儲存成本在 AI 基礎設施規劃中的重要性與被低估的現狀。