ECG Mirage：揭示視覺語言模型在臨床預測中對心電圖的低效利用問題

由 Jinning Liang、Mingcheng Zhu 與 Tingting Zhu 組成的研究團隊發表論文《ECG Mirage》，指出視覺語言模型（VLMs）在臨床預測任務中，其實沒有把心電圖資訊用好。這篇論文已投稿至 arXiv 人工智慧分類，編號 2609.21755。

急診科決策的多模態難題

急診科做臨床決策時，通常得同時參考病患病史、生命徵象、實驗室檢查結果和心電圖。理論上視覺語言模型可以同時處理這些不同類型的資訊，看起來很適合拿來當決策輔助工具。但研究團隊指出，模型預測表現好，不代表它真的有正確使用病患的心電圖資訊。

什麼是「ECG Mirage」

研究團隊把這種失效模式稱為「ECG Mirage」（心電圖幻像）——模型表面上看起來有處理多模態資訊的能力，但實際上根本沒怎麼依賴病患的心電圖資訊。團隊還分出兩種具體的失效狀況：

ECG 忽視指的是心電圖對模型預測幾乎沒有幫助。ECG 混淆則是另一種狀況：拿不匹配的心電圖影像去測，表現反而比完全不給影像還好，但真正匹配的心電圖卻贏不過那個不匹配的版本。

怎麼測試

研究團隊固定臨床文本和預測目標不變，分別比較三種輸入條件下的預測結果：匹配的心電圖、結果對不上的不匹配心電圖，以及完全沒有影像輸入。實驗用 MDS-ED 資料集，測試四個視覺語言模型，任務是預測病患是否會被送進加護病房（ICU）以及是否會出現臨床惡化。

結果發現，這四個模型不管哪一個，匹配的心電圖對 ICU 入院預測或臨床惡化預測都沒有帶來穩定的優勢。

改進做法與成效

研究團隊接著提出視覺提示調優（visual prompt tuning）當作改善方法。做法是先用監督學習訓練四個受限的視覺提示，再做條件直接偏好最優化，過程中視覺語言模型的主幹網路維持凍結不動。

經過這套流程調整後，模型的 ICU 入院預測均衡準確度達到 70.6%，臨床惡化預測均衡準確度達到 67.5%。而且匹配心電圖與不匹配心電圖之間的表現落差也明顯拉大：ICU 入院預測的落差擴大到約 16.5 個百分點，臨床惡化預測的落差擴大到約 5.5 個百分點。

這代表什麼

這項研究點出多模態臨床預測中存在的 ECG Mirage 問題，也提出視覺提示調優作為一種有效的改善方式。這個結果凸顯目前視覺語言模型在醫療應用上仍有可靠性上的問題，同時也給出了未來改進臨床應用場景的方向。