新聞 9 / 12

安全倫理

注意力缺口:任務限制導致 AI 模型忽視可檢測的安全隱患

The Inattentional Gap: Task-Conditioned Language and Vision Models Omit the Safety-Critical Signals They Can Otherwise Report

注意力缺口:任務限制導致 AI 模型忽視可檢測的安全隱患

arXiv cs.CL · 2026-06-26

摘要

研究發現當語言和視覺模型被限制執行特定任務時,會抑制其報告安全攸關信號的能力,即使這些模型在無限制狀態下能輕易檢測這些信號。這種現象被稱為「注意力缺口」,在放射科、駕駛文本和胸部X光影像任務中普遍出現,與模型規模無關,揭示了基準測試安全評估與實際部署安全之間的重大脫節風險。

AI 在放射學及其他安全關鍵工作流程中的評估,通常僅針對被明確指示尋找的特定危害進行,然而實際造成的傷害卻 disproportionately(不成比例地)來自於無人指定的危害。研究顯示,當語言模型或視覺模型被限制執行狹窄任務時,會抑制其報告共現的安全關鍵信號的能力,即使這些模型在無限制狀態下本可報告這些信號。這種行為被稱為「注意力缺口」(Inattentional Gap),其本質類似於人類的「非注意視盲」(inattentional blindness)。

在放射科文本情境與胸部 X 光影像的視覺任務中,普通的聚焦指令導致報告率最高下降了 0.92。這種缺口在七個模型中範圍從極小到完全缺失,且其變化與模型規模無關,並非單調變化,甚至在具備推理能力的模型中依然存在。不過,其中一個旗艦模型展現了堅定的安全報告覆蓋機制。這意味著系統可以在指定危害的評分上接近完美,卻同時遺漏共現的安全關鍵危害。

針對一個包含 24 個情境的探測,獨立的開放式評論者(open-ended critic)成功恢復了所有被遺漏的發現。基於此,研究提出應將「報告完整性評估」(reporting-complete evaluation)作為安全關鍵部署的准入標準,以解決基準測試安全評估與實際部署安全之間的重大脫節風險。

開發者:需重新審視 AI 模型評估方法和安全測試框架

投資人:AI 安全測試領域存在未被發現的系統性風險

一般用戶:依賴 AI 的醫療診斷和自動駕駛系統可能存在隱蔽的安全盲點

重要性評分

78/100

🟠 值得關注

AI 安全注意力盲視模型評估
原文出處
上一則IBM 推出新晶片技術,有望延長莫爾定律再運行十年下一則白宮限制 OpenAI 的 GPT-5.6|為 AI 代理配備安全的信用卡功能

喜歡這篇?每天早晨還有更多。

訂閱 5min AI,讓 AI 替你追蹤整個 AI 世界。

相關指南

🤖 本文摘要由 AI 自動生成,內容源自原始報導。如有疑慮,請參閱關於我們

喜歡這篇?每天早晨還有更多。

訂閱 5min AI,讓 AI 替你追蹤整個 AI 世界。