←新聞 11 / 12→

安全倫理

MosaicLeaks:深度研究 AI Agent 開放查詢的隱私風險

MosaicLeaks:Privacy Risks in Querying-in-the-Open for Deep Research Agents

MosaicLeaks:深度研究 AI Agent 開放查詢的隱私風險

arXiv cs.CL · 2026-06-01

摘要

研究團隊發現 AI Agent 在結合本地私密文件與外部工具(如網路搜尋)時,存在重大隱私洩露風險。個別查詢看似無害,但聚合後會暴露敏感資訊,研究團隊發佈了包含 1,001 個多步驟任務的 MosaicLeaks 基準測試,發現各規模模型都頻繁在多個層級洩露資訊,零-shot 隱私提示效果有限。

深度研究 AI Agent 在結合本地私密文件與外部工具(如網路搜尋)時,存在隱私洩露風險,即代理的外部查詢可能洩露其本地情境中的敏感資訊。這種風險因「馬賽克效應」而加劇,意指個別查詢看似無害,但聚合後卻會暴露敏感資訊。研究團隊發表了包含 1,001 個多步驟任務的 MosaicLeaks 基準測試,該測試鏈結企業私有文件與公共網路語料庫,迫使代理根據本地資訊進行外部查詢。

研究使用敵對 LLM 評估洩露情況,該敵對模型僅觀察代理的外部查詢,試圖推斷三個層級的隱私資訊:代理的研究意圖、特定私有問題的答案,以及關於企業文件的可驗證陳述。結果顯示,不同家族與規模的模型在三個層級上均頻繁洩露資訊。此外,零樣本隱私提示(zero-shot privacy prompting)雖能減少洩露,但無法完全消除;而僅針對任務表現進行的強化學習(RL)反而會加劇洩露。

為解決此問題,研究提出隱私感知深度研究(Privacy-Aware Deep Research, PA-DR)框架,該框架結合任務成功的情境獎勵與學習到的隱私分類器,以在單次查詢與馬賽克層級的洩露上提供密集的信用分配。在 Qwen3-4B-Instruct 模型上應用 PA-DR 訓練後,準確率從 48.7% 提升至 58.7%,同時將答案洩露與完整資訊洩露從 34.0% 降低至 9.9%。

●開發者:需要重新評估 Agent 設計中的隱私保護機制,特別是涉及企業文件與外部查詢的應用

●投資人:企業級 AI Agent 商用前須解決隱私合規問題,這可能影響市場採納時程

●一般用戶:使用本地文件搭配 AI 搜尋功能時應注意敏感資訊可能被推測

重要性評分

75/100

🟠 值得關注

隱私洩露AI Agent馬賽克效應
原文出處
上一則← 臨床 LLM 的語義穩定性問題:同一患者不同措辭導致診斷差異下一則Interpretability - Anthropic 的 AI 可解釋性研究 →

喜歡這篇?每天早晨還有更多。

訂閱 5min AI,讓 AI 替你追蹤整個 AI 世界。

相關指南

🤖 本文摘要由 AI 自動生成,內容源自原始報導。如有疑慮,請參閱關於我們。

喜歡這篇?每天早晨還有更多。

訂閱 5min AI,讓 AI 替你追蹤整個 AI 世界。