NEXUS：為使用工具的 LLM 代理提供結構化執行安全監控

NEXUS: Structured Runtime Safety for Tool-Using LLM Agents

arXiv cs.AI · 2026-07-23

摘要

研究團隊提出 NEXUS，一種針對使用工具的 LLM 代理設計的結構化安全監控系統。該系統結合確定性安全規則、參數級檢查與校準後的邏輯回歸風險評分，能自動執行允許、阻止、請求確認或要求修改等四種干預動作。在合成基準測試中，NEXUS 的 F1 分數達 0.949，顯著優於僅依賴規則的干預選擇方法，展現出更精細的風險管控能力。

●開發者：可參考其結合規則與機器學習的干預策略來強化代理安全性

●投資人：AI 代理安全監控領域的技術進展值得關注

●一般用戶：未來使用 AI 代理時，其執行高風險動作的過程將獲得更嚴格的監控與保護

重要性評分

65/100

🟠 值得關注

LLM AgentsRuntime SafetyNEXUSTool-UsingSafety Monitor

原文出處

上一則← 長程模型時代的安全與對齊：OpenAI 分享部署經驗

喜歡這篇？每天早晨還有更多。

訂閱 5min AI，讓 AI 替你追蹤整個 AI 世界。