Tree-of-Evidence：為多模態模型提供可靠解釋的系統 2 搜尋演算法

大型多模態模型（Large Multimodal Models, LMMs）在醫療等高風險領域雖已達成最優性能，但其推理過程仍不透明。現有的可解釋性方法，如注意力機制或事後顯著性分析，在整合時間序列與文字等異質模態時，往往無法忠實反映模型的決策過程。研究團隊因此提出 Tree-of-Evidence（ToE）演算法，將可解釋性框架化為離散優化問題。

ToE 是一種推論時搜尋演算法，不使用軟注意力權重，而是採用輕量化證據瓶頸（Evidence Bottlenecks）來評分粗粒度的資料群組或單位，例如生命徵兆視窗或報告句子。該演算法透過波束搜尋（beam search）找出能重現模型預測所需的最精簡證據集合，從而識別出 LMM 做出決策時真正參考的證據。

研究團隊在涵蓋三個數據集與兩個領域的六項任務中評估了 ToE，包括 MIMIC-IV 上的四項臨床預測任務、eICU 的跨中心驗證，以及 LEMMA-RCA 上的非臨床故障檢測。結果顯示，ToE 在保留預測性能的同時產出了可審計的證據軌跡，在所有設定下僅使用五個證據單位，仍能保留超過 0.98 的全模型 AUROC。

在稀疏證據預算下，ToE 比其他方法實現了更高的決策一致性與更低的概率保真度誤差。定性分析表明，ToE 能適應其搜尋策略：在情況明確時僅使用生命徵兆，而在生理信號模糊時則選擇性納入文字。這提供了一種實際機制，用於審計多模態模型並揭示支持每個預測的離散證據單位。