離散擴散語言模型的成員推論攻擊研究

研究團隊針對 Masked Diffusion Language Models（MDLM）展開成員推論攻擊（MIA）分析，發現經過微調的 MDLM 在隱私脆弱性上遠高於現有灰盒基準所顯示的程度。MDLM 以迭代去掩碼取代自回歸生成，其隱私特性此前幾乎未被研究。

研究團隊從模型在四種掩碼比例下的重建損失中提取 46 維特徵向量，並以此訓練 XGBoost 與 MLP 分類器。在涵蓋六個文本領域的 MIMIR 基準測試中，XGBoost 達到平均 AUC 0.878，在 Pile CC 數據集上峰值達 0.930，平均比 SAMA 灰盒基準高出 0.062 AUC。

消融實驗顯示，ELBO 軌跡是驅動攻擊效能的主要因素，移除後平均下降 0.130，而注意力特徵的貢獻低於 0.003。此外，研究設計了一種影子模型轉移攻擊，使用 K 等於 3 個在無關領域數據上訓練的替代 MDLM 生成分類器標籤，即使無法接觸目標領域，該方法仍達到 0.858 的平均 AUC，與白盒神諭僅相差 0.020，證實影子模型轉移是實際且近乎同等有效的攻擊路徑。