向量並非中立：LLM 匯出表徵中的敏感資訊推斷風險

大型語言模型（LLM）摘要系統可能將私人輸入的緊湊向量表徵傳遞給下游的檢索、監控、審計或分析工作流程。即使原始文件仍受存取限制，這些衍生向量可能在不同存取控制下被處理，從而支持敏感資訊的推斷，造成殘餘的資訊洩露風險。

研究團隊以臨床出院摘要生成為高風險案例，使用電子健康記錄（EHR）記錄的種族作為受控的敏感標籤進行審計。審計對象包含系統可能保留或暴露給下游組件的兩種 artifacts：最終的 prompt-token 隱藏狀態（final prompt-token hidden state）與平均池化的 prompt 表徵（mean-pooled prompt representation）。

研究結果顯示，降低從一個導出 artifact 中恢復案例研究敏感標籤的可恢復性，並不必然降低從另一個 artifact 恢復敏感資訊的可恢復性。這意味著針對單一向量形式的隱私保護措施，無法保證其他向量形式的安全性。

作為緩解方案的案例研究，團隊提出了 SurfaceLoRA，這是一種針對導出向量的參數高效微調方法。該方法使用附著在指定導出向量上的梯度反轉判别器（gradient-reversal discriminator）。在平衡的五路探測協議（balanced five-way probing protocol）下，SurfaceLoRA 將目標最終 token artifact 中的 EHR 記錄種族恢復率降低至接近隨機水平，同時保留了摘要效用。然而，在未針對目標的平均池化 artifact 中，恢復率仍然顯著較高。這些發現表明，隱私審計與緩解措施應針對實際保留或暴露給下游組件的具體向量 artifact 進行。