審計 AI 緊急警察調度系統的人口統計偏差：11 個大型語言模型的跨語言評估

研究人員針對 11 個前沿大型語言模型（LLM）進行跨語言審計，將警察優先調度系統（Police Priority Dispatch System）建模為五級有序分類任務，以評估其在緊急呼叫調度與決策支援中的公平性。該研究涵蓋 19,800 個模型輸出，涉及 15 個情境配對、三個人口統計類別（宗教外觀、性別、種族）以及兩種語言（英文與中文），並採用受控的最小配對設計來隔離人口統計線索的影響。

研究發現，當事件嚴重程度不明確時，LLM 會系統性地表現出人口統計偏差；然而，當通話內容清楚指示操作優先級時，這種偏差會大幅消減。不同人口統計軸向的偏差幅度存在顯著差異，其中宗教外觀造成的影響最大，其次為性別，最後為種族。此外，研究指出偏差並未在語言間一致轉移：性別偏差在中文（Mandarin Chinese）中被顯著放大，而種族偏差則在英文（English）中更為明顯，揭示了跨語言不對稱性。

在某些情境下，人口統計線索產生了方向相反的影響，這挑戰了單純的刻板印象放大解釋。研究結果表明，基於 LLM 的調度偏差並非模型本身的固定屬性，而是源於人口統計信號、情境模糊性與語言之間的互動。除了這些實證結果外，該研究提出的框架提供了一種可擴展的審計基礎設施，使部署機構能在模型投入實際應用前，針對管轄區域相關的情境評估候選模型。