臨床 LLM 的語義穩定性問題：同一患者不同措辭導致診斷差異

大型語言模型（LLMs）在臨床應用中日益普及，但其行為對細微的語言變化極為敏感，包括重述或句法變異。在醫療這種安全關鍵的場景中，語義等價的輸入理應產生一致的預測，然而目前的挑戰在於確保提示（prompt）的變化真正保留了臨床意義，因為基於嵌入的相似性指標往往無法捕捉涉及否定、時間性或嚴重性的區別。

為解決此限制，研究團隊提出了一套基於自然語言推理（NLI）的語義驗證框架。該框架利用「LLM-as-a-judge」來過濾並精修意義保留的提示變異，最後由臨床專家進行審核驗證。研究同時引入了三個指標來量化模型的敏感度：意義保留變異敏感度（MVS）、信心變化（ΔC）以及最壞情況不穩定性（WCI）。

研究團隊在相同的模型家族和參數量級下，評估了 16 個開源通用（GP）與醫療（DS）大型語言模型，使用的提示是基於 DiagnosisQA 和 MedQA 數據集進行重述的結果。結果顯示，領域特定（DS）模型之間的魯棒性差異參差不齊且高度依賴具體模型，即領域專業化並不一致地提升或降低對意義保留提示重述的魯棒性。部分 DS 模型在與 GP 對手比較時排名最穩，而強大的 GP 基線模型也保持競爭力。