共享嵌入序列模型中指令與資料的不可分性

提示注入是整合大型語言模型應用的首要安全風險，然而目前提出的所有防禦措施均已被破解。研究證明，在缺乏強制控制與數據分離的共享嵌入架構中，實現完美的提示注入防禦在數學上是不可能的。這並非偶然，而是因為信任內容與不信任內容在統計層面上無法區分，導致任何基於編碼方式的防禦都會失效。

研究將提示系統形式化為「提示行動模型」，其輸出包含控制權威性行動，如拒絕決策、工具授權、政策路由和記憶體寫入。研究定義了「語義忠實控制」，即此類行為僅取決於未信任輸入的含義，而非其編碼方式。研究透過三個結果證明，在共享管道中無法實現語義忠實控制：一是「來源恢復不可能性」，共享表示使信任與未信任內容在統計上不可區分，其差異受限於總變異距離；二是「控制路徑暴露」，未信任令牌透過決定輸出的相同注意力值聚合進入控制相關計算；三是「有限覆蓋不變性差距」，有限的訓練無法證明對無限語義等價類別的不變性。

這些結果在生產環境的詞彙表和模型測量中得到了具體數據的支撐，表明這是結構性問題，而非現有防禦措施的缺陷。這一發現反映了馮·諾依曼機器中代碼與數據混淆所導致的緩衝區溢出問題，這類漏洞花了數十年的時間，透過層層防禦（如 DEP、Write-XOR-Execute、ASLR、堆棧緩衝區檢查，以及最終的記憶體安全語言）才得以控制，因為單一機制無效。

結論指出，提示注入無法僅透過改進管道內的分類或對齊來消除。解決方案需要從架構層面進行改革，實現指令與數據通道的分離，而非在現有框架內尋求補救。研究已識別出根本原因及其所要求的解決方案類別。