Counterfactual Neighborhood Risk Fields：基於證據的視覺語言模型選擇性安全框架

研究提出 CNRF 框架，嘗試讓視覺語言模型的安全判斷更有依據

arXiv cs.AI 收錄了一篇論文，作者來自同濟大學、穆罕默德·賓·扎耶德人工智慧大學、電子科技大學、上海人工智慧實驗室等單位。研究團隊提出名為 Counterfactual Neighborhood Risk Fields（CNRF）的框架，用於視覺語言模型（VLM）的選擇性安全防禦。

現有方法的侷限

論文指出，許多以表徵為基礎的安全防禦，會學著把有害輸入與良性輸入分開。但光是分得開，並不能說明風險分數代表什麼，也無法判斷什麼時候該相信這個分數。作者認為，風險分數可能把「有害能力」、「對輸入不熟悉」和「參考樣本覆蓋不足」混在一起，結果可能是放行有害請求，或是拒絕正常請求。

CNRF 的做法

CNRF 先建立「情境相符的反事實配對」：有害請求與良性請求在主題、實體、語言形式與視覺依賴上盡量一致，只有所要求的能力不同。兩者在表徵空間中的差值，被當作與能力相關的風險方向。

接著，框架以查詢點附近的最近鄰配對中點為基礎，把多個風險方向加權彙整成「鄰域風險場」，用來估計風險。系統另外獨立估計「鄰域支持度」，看現有參考樣本是否足以涵蓋該查詢。作者強調，這兩項分開計算，是為了避免把「不熟悉」誤判成「有害」。

推論階段分兩段。第一段是依不同模型架構調整的篩選介面，決定哪些請求需要檢視；第二段由同一個受保護模型審查回應。通過審查的候選回應直接放行，未通過的，則由模型生成風險能力降低的替代回應。作者的目標是做到「選擇性干預」，而不是一律拒絕。

實驗結果

作者在三個模型（Qwen2.5-VL-7B、Gemma-3-12B、InternVL3-8B）與五類多模態越獄攻擊資料集上測試。摘要指出，CNRF 的宏觀防禦成功率為 86.06% 至 89.30%，同時保有相當程度的良性任務效能。

從表格來看，CNRF 在 Qwen 與 Gemma 上取得最高的宏觀防禦成功率（Qwen 為 88.57%，Gemma 為 86.06%）。在 InternVL 上，宏觀防禦成功率比 OH-Defense 低約 0.12 個百分點，但論文表示其良性效能明顯較好。CNRF 在三個模型上的安全—效能綜合分數（SUS）分別為 69.82、73.27 與 77.21。在 InternVL 上，77.21 高於 CARE 的 76.68。

在表徵篩選方面，論文報告 CNRF 的宏觀 AUROC 在三個模型上分別為 87.87%、94.50% 與 92.74%。在低誤判率的操作點，宏觀 TPR@5% FPR 分別為 60.76%、80.75% 與 74.93%。

消融實驗的發現

在 Qwen 上，作者以 770 筆驗證輸入做控制實驗。與查詢相符的參考樣本（matched retrieval），其低誤判區間的標準化 pAUROC 為 89.24；隨機鄰域為 75.24，遠距鄰域只有 48.59，全域聚合為 85.92。另外，若把反事實方向換成其他父樣本的方向，pAUROC 會從 89.24 降到 75.32。作者因此認為，有效的安全證據不只看鄰近程度，也看上下文相似性與能力轉換之間的對應關係。

限制與保留

論文也列出幾點需要留意的地方。首先，評估用的自動評審模型同樣來自 Gemma 系列，作者表示其判斷可能受模型家族偏差影響，應與人工評估分開解讀。其次，在 InternVL 上，回應審查雖然能放行較多良性回應，但也讓宏觀 ASR 增加約 0.77 個百分點，作者稱之為「可衡量的安全與接受度取捨」。此外，作者指出，獨立抽樣的前瞻性評估仍有待完成，目前的結果只代表所選基準集的表現。

論文附錄有八個定性案例（如生日派對、交通指揮等），顯示回應審查可以放行原本被拒絕的良性回應。但作者也說明，這些案例是依結果挑選的示例，不代表出現頻率或人工評定的正確性。