為關鍵系統工程可信賴的 Agentic AI

一項發表於 arXiv cs.AI 的新研究針對具備自主感知、規劃、工具使用及多步驟行動能力的 Agentic AI 系統，提出將可信賴性（trustworthiness）視為一級工程特性。該研究指出，現有文獻多僅評估 Agentic AI 的任務能力，卻忽略了在實際工程約束下驗證、審計及信任其行為的必要性，因此本研究旨在填補此空白。

研究建立了一個涵蓋五個跨領域維度的可信賴性模型，分別為安全性與約束滿足（safety and constraint satisfaction）、健壯性與可靠性（robustness and reliability）、透明性與可解釋性（transparency and interpretability）、問責性與審計性（accountability and auditability），以及隱私與安全性（privacy and security）。這五個維度被映射至涵蓋從感知（perception）到審計（audit）的完整系統保證工作流（agentic assurance workflow）。

基於此基礎，研究調查了 Agentic 系統架構、威脅、具體可信機制及量化指標，以直接應用於系統開發與評估。研究進一步將這些原則應用於四個受限的工程領域：電力系統（power systems）、自動駕駛汽車/機器人/無人機（autonomous vehicles/robotics/UAVs）、高性能運算（high-performance computing）以及通訊網路（communication networks）。分析結果識別了重複的設計模式、共享的失效模式以及特定領域的缺口。

研究結論指出，Agentic AI 的可信賴性在跨領域視角下實為單一問題，並勾勒出一條通往可重用跨領域保證框架的路徑。該框架類似於成熟安全關鍵工程領域所使用的分級認證制度（graded certification regimes），旨在解決物理、運營或經濟後果重大的關鍵工程領域中的實際工程約束問題。