AI 水印技術可能削弱模型安全防護，引發開發者警惕

為回應歐盟新法規對生成內容標記的要求，各大 AI 平台正積極實施新的水印方案。Anthropic 近日公開披露，其未來的 Claude 模型將採用 SynthID-Text 技術，此技術由 Google 開發並以開源形式釋出。該機制核心在於利用秘密金鑰，微妙地調整模型在構建句子時選擇下一個單詞的決策過程。具體而言，若模型原本首選的單詞是「cloudy」，金鑰介入後可能將其替換為「overcast」。這種細微的詞彙差異使得任何持有該秘密金鑰的人，都能夠判定生成的內容是否由使用該水印技術的平台所產生。

然而，最新研究揭示 SynthID-Text 的影響範圍遠超單詞選擇層面。研究指出，這項技術不僅改變詞彙輸出，還會直接影響模型所調用的工具類型，以及模型遵循或忽視其訓練階段所設定的安全防護規則的機率。這種潛在的安全風險在面對惡意提示（adversarial prompt）時會顯著加劇。在此類攻擊情境中，攻擊者試圖誘使模型執行有害動作，例如洩露密碼或其他敏感資訊。研究結果顯示，在部署水印機制後，某些在正常情況下不會被執行的指令，有時反而會被模型執行。這一發現凸顯了技術整合中的安全隱患，強調開發者必須在部署前徹底測試大型語言模型與代理程式在水印啟用狀態下的行為表現，以確保安全守則未被意外削弱。