PhySE：針對 AR-LLM 社交工程攻擊的心理學框架

研究人員指出，基於增強現實與大型語言模型的社交工程攻擊（AR-LLM-SE），例如 SEAR，已對現實世界的社交互動構成重大風險。在這種攻擊模式中，惡意行為者利用 AR 眼鏡捕捉目標的視覺與語音數據，隨後由大型語言模型（LLM）分析數據以識別個體並生成詳細的社交檔案。接著，由 LLM 驅動的代理會採用社交工程策略，提供即時對話建議以獲取目標信任，最終執行釣魚或其他惡意行為。

儘管具備潛在威脅，AR-LLM-SE 的實際應用目前面臨兩大瓶頸。首先是冷啟動個性化問題，當前的檢索增強生成（RAG）方法在對話早期回合中引入關鍵延遲，導致初始檔案形成緩慢並破壞即時互動。其次是靜態攻擊策略，現有方法依賴固定階段且手寫的社交工程戰術，缺乏既定心理學理論的支撐。

為解決這些限制，研究團隊提出了 PhySE 框架，包含兩項核心創新。第一項是基於視覺語言模型的社交情境訓練（VLM-Based SocialContext Training），透過利用社交情境數據對視覺語言模型（VLM）進行高效預訓練，實現快速、即時的檔案生成，從而消除分析延遲。第二項是適應性心理代理（Adaptive Psychological Agent），引入心理學 LLM 根據目標回應動態部署不同類別的心理策略，超越傳統手寫腳本的靜態模式。

該框架透過經倫理審查委員會（IRB）批准的用戶研究進行評估，研究涉及 60 名參與者，並收集了涵蓋多樣社交情境的 360 筆標註對話，構建了一個新的數據集。