聯邦學習中的隱私洩漏風險：放射科報告中分詞器設計的比較評估

聯邦學習（Federated Learning）允許機構在無需共享原始數據的情況下進行臨床文本的聯合訓練，但研究指出，攻擊者可透過共享的模型更新進行梯度反演（gradient inversion），從而重構敏感資訊。針對放射科報告（radiology reports）的隱私洩漏程度及分詞器（tokenizer）設計的角色，目前仍缺乏明確數據。

研究團隊在保持模型架構不變的前提下，對比了三種分詞器的隱私風險：GPT-2、RadBERT 以及 LLaMA-2。實驗設定六個聯邦學習客戶端，使用 GPT-2 風格的變壓器模型（序列長度為 32），在公共放射學語料庫上進行訓練，數據包含 368,751 份診斷報告、98,206 份出院摘要以及 1,500 份 MIMIC-CXR 自由文本報告。實驗採用的批次大小（batch sizes）分別為 64、128 和 256。

研究假設存在一個主動惡意的伺服器，該伺服器在分發前修改了共享架構，隨後應用解析式梯度反演技術，並在五次運行中測量重構的保真度。結果顯示，精確句子重構率介於 31% 至 44% 之間，證實即使不共享原始數據，聯邦學習方案仍可能洩露患者隱私資訊。