醫療語言模型的跨語言安全問題：英文安全性無法轉移至本地語言

大型語言模型的安全評估目前主要集中在英文環境與頂尖系統上，這與低資源醫療環境的實際使用情況不符。在這些環境中，小型量化系統會在本地運行，並使用當地語言進行查詢。研究團隊針對尼日利亞北部高負擔的瘧疾、鐮狀細胞病和肺結核三種疾病，構建了配對的英文與豪薩語問題對，以檢驗在英文中建立的臨床安全性是否能轉移至豪薩語。

研究評估了六個模型，包括五個可本地部署的系統（參數量介於 40 億至 90 億之間，其中兩個經過醫學微調）以及一個頂尖系統。所有 128 個回應均由兩位獨立且對彼此盲視的流暢豪薩語使用者，依據尼日利亞國家治療指南進行評分。在可本地部署的模型中，臨床正確性的平均分數從英文的 1.57 降至豪薩語的 -0.03（評分標準中 2 代表正確，-1 代表主動有害）。相比之下，頂尖模型在兩種語言中的表現均為 2.00 和 1.75，且未產生任何被判定為有害的回應。

這種安全漂移在所有三種疾病條件下均保持一致。研究指出，由於頂尖模型能在豪薩語中同樣勝任地回答相同問題，因此該缺陷並非語言本身或臨床材料的屬性，而是可部署級別模型的固有特性。這揭示了全球健康應用中的一個關鍵風險：在開發國家建立的安全認證未必適用於發展中國家的實際部署環境。