超越表面判斷：LLM 生成虛假信息的人類基準風險評估

大型語言模型（LLM）的普及使得大規模生成欺騙性內容變得日益容易，這促使研究團隊需要建立基於讀者是否認為內容可信以及是否願意分享的可擴展虛假信息風險評估機制。研究團隊提出了一種自然方法，即直接向 LLM 詢問這些問題，並將返回的評分視為對應人類評分的預測，但這種做法隱含了一個假設：詢問讀者反應會產生最能預測該反應的評分。

研究團隊利用來自 317 名參與者的 290 篇欺騙性文章，以及八個 LLM 評估者，對該假設進行了測試。結果顯示，該假設在評估「可信度」（credibility）時成立，但在評估「分享意願」（willingness-to-share）時失敗。對於每一個評估者而言，可信度評分追蹤人類分享行為的緊密程度，至少與分享評分追蹤人類分享行為的緊密程度相當。

數據分析進一步表明，在預測對未見情境的反應時，分享評分除了可信度之外，沒有提供任何可檢測到的額外益處。無論問題是單獨詢問還是以相反順序詢問，這種模式都持續存在。研究結果暗示，直接詢問目標反應可能並非總是產生預測該反應的最有效評分。

研究指出，將直接評分與通過相關判斷的間接路徑進行比較，可能會揭示出更有效的預測路徑。這表明，決定詢問什麼問題（Deciding what to ask）與如何詢問（refining how to ask）同樣重要。