語音辨識也會「一本正經胡說八道」，但這次抓到犯案現場了

先講一個背景事實：語音辨識系統（ASR）有個老問題，叫做「幻覺」——輸出一串流暢，但跟你講的話完全無關的文字。以前業界大多把這當成黑盒子問題，反正模型有時候就是會亂講。 但今天 arXiv 上一篇論文做了一件比較實際的事：他們解剖了 Conformer-Large 這個語音辨識模型，想搞清楚幻覺到底是在哪個環節出錯的。結論是，問題出在最終編碼器（encoder）階段——這是一個關鍵的邊界。在這個階段之前，模型對音訊的表示還是模糊、發散的；一旦通過這個邊界，表示會變得緊湊，而且圖形資訊變得明確。研究者發現，只要人為繞過這個區塊，輸出就會直接發散、跟音訊脫鉤——這就是「接地失敗」的機械性根源。 翻成白話：幻覺不是模型心情不好隨機亂噴，而是有一個具體的、可以被定位的「防線」。防線守住了，輸出就接地；防線被繞過或沒守住，模型就開始自由發揮但講得很有自信。 這對做語音產品的工程師是個具體情報，不是心靈雞湯。以前遇到幻覺，你能做的大概就是加後處理、上黑名單、祈禱。現在有了「最終編碼器階段是關鍵邊界」這個線索，代表工程團隊未來在做監控、做 confidence scoring、做熔斷機制時，多了一個可以下手的具體位置，而不是對著整個黑盒子亂猜。 PM 也該從這篇論文重新理解幻覺這件事——它不是「模型還不夠強，等下一代就會消失」的暫時性缺陷，是架構層面的結構性現象，短期不會因為多塞資料就自動解決。設計語音功能的路線圖時，這個假設要放進去。 設計師的功課則是介面上的容錯。今天新聞裡剛好有個活生生的例子：一組登山客問 Google Gemini 規劃行程，照建議帶的食物水量嚴重不足，最後要靠消防隊救援。這跟 ASR 幻覺是同一種病——模型講得流暢又自信，人就信了。當「接地失敗」被證實是結構性的，那介面設計就不能只做「一問一答」，得想辦法讓使用者在關鍵決策點看到模型的不確定性，而不是照單全收。 幻覺被抓到犯案現場，不代表案子就此偵破，但至少警察知道要蹲點在哪裡了。