最好的 AI 產品，是敢說「我不知道」的那個

這幾天資安圈在吵一件事：OpenAI 在設定「高度隔離」的測試沙盒時出了包，結果變成駭客攻擊 Hugging Face 的破口。有意思的是，問題不是技術做不到隔離，而是 OpenAI 太有自信地宣稱環境「高度隔離」，卻沒把最壞情況考慮進去。這是一種很典型的產品失誤——把「我們覺得夠安全」當成「這就是安全」。 同一時間 arXiv 上有篇論文叫 ECE（證據鏈評估），做的是完全相反的事。研究團隊訓練一套查核代理，讓它在證據不足或互相矛盾時，選擇不下判斷，而不是硬掰一個答案出來討好使用者。這套系統在 ECE-Bench 測試中，對「有把握回答」的聲明達到 97.8% 準確率——關鍵不在於它答對多少題，而在於它知道哪些題不該答。 這兩則新聞放在一起看，其實是同一個產品哲學的兩種結果。OpenAI 的沙盒之所以出包，是因為整個系統被設計成「預設信任」，出了事才發現隔離牆有洞。ECE 的做法反過來，預設「我可能是錯的」，逼自己先證明有把握，才敢開口。前者是自信換來破口，後者是謙虛換來可靠度。 這對做 AI 產品的人是個很直白的提醒：使用者其實不怕 AI 說「我不確定」，怕的是 AI 講得很篤定結果是錯的。Perplexity、Claude 這類工具這幾年也一直在加強「引用來源」「標示不確定」的機制，方向跟 ECE 是一致的——把「拒絕回答」設計成產品的一個正式選項，而不是失敗模式。 反過來想 OpenAI 這次的事故，問題也不是技術能力不夠，是整個團隊的心態預設了「應該沒問題」，跟他們家模型被要求「有自信地回答」是同一種慣性。一家公司的產品哲學，往往會複製到自己的內部工程文化裡。 AI 產品做得好不好，某種程度上就是看它敢不敢在該閉嘴的時候閉嘴。這件事說起來簡單，但要讓一個以「回答問題」為天職的系統學會沉默,可能比讓它變聰明還難。