模型內部邏輯值洩露了什麼？Vision-Language 模型的資訊安全風險研究

研究團隊以 Vision-Language 模型為測試平台，首次系統性地比較了資訊在不同「表示層級」（representational levels）中被壓縮後所保留的程度。研究指出，模型內部包含的資訊量遠超其最終生成內容，這可能導致非自願或惡意的資訊洩露，使模型使用者獲取了模型擁有者原本認為無法取得的資訊。

研究分析了資訊從殘餘流（residual stream）經過兩個自然瓶頸壓縮的過程：一是透過調整後的透鏡（tuned lens）獲得的殘餘流低維度投影，二是最終可能影響模型回答的 top-k logits。結果顯示，即使是容易獲取的由 top logit 值定義的瓶頸，也可能洩露圖像查詢中存在的無關任務資訊。在某些情況下，這種洩露程度與直接投影完整殘餘流所揭示的資訊量一樣多。

這項發現揭示了模型所有者在保護用戶隱私時，可能低估了模型內部邏輯值洩露的風險。研究強調，即使是模型輸出層中看似安全的 top-k logits 值，也並非完全安全，其洩露的資訊量有時與直接讀取模型內部完整狀態相當。