評估盲點：無聲測量失敗如何從訓練到部署腐蝕 AI 系統

研究提出「評估盲點」（evaluation blindness）概念，指測量函數 M 在系統實際處於失敗狀態時，產出與健康狀態無異的讀數，且無任何輔助信號標示差距。這種無聲失敗會透過訓練迴圈、評估管線及生產監控堆疊傳播，直到下游造成實質傷害才顯現。問題涵蓋生命週期的兩個階段：訓練階段與部署階段，文獻以往將兩者分開處理。

在訓練階段，獎勵模型被操弄、重要性採樣修正被無聲誤算，且基準汙染會膨脹微調評估結果，儘管損失曲線看似健康且梯度更新正常進行。研究包含四個訓練時期的案例研究，追蹤具體崩壞，其中包括 TRL PR #6594 的真實實現錯誤，顯示在損失正常下降時梯度已遭腐蝕。

在部署階段，監控無法捕捉六類生產失敗，其中「運作類別」（Operational category）在結構定義上為 100% 無聲。研究提出一個統一的正式可偵測性判別式，並建立六類分類法，該分類法針對 50 起來自法庭文件與監管申報的真實世界事件進行驗證，發現 53% 的可驗證公開失敗屬於無聲狀態。研究同時提出失敗預算框架，將可接受的失敗率與使用案例風險類別掛鉤。結論指出，測量基礎設施是整個 AI 生命週期的正確性問題，而不僅限於評估時間。