GitHub 推出新模型提升 Secret Detection 精確度並降低噪音

GitHub 推出新的 Secret Detection 模型，降低誤報與掃描成本

GitHub 在 2026 年 10 月 13 日發布新的 Secret Detection 模型，處理開發者在程式碼掃描中常遇到的誤報與漏報問題。這次更新的核心，是用緊湊型模型取代過去依賴遠端大型語言模型（LLM）的呼叫機制。根據官方數據，新系統把掃描執行時間縮短 86%，服務成本降低 98%，警報精確度提升 11.5%。開發者在處理程式碼中的敏感資訊時比較有把握，也不容易因為噪音太多而漏看真正的資安威脅。

解決「硬負樣本」難題：區分真實憑證與相似字串

在軟體開發過程中，結構化憑證通常有獨特的字首、長度或校驗和，但「通用憑證」（Generic secrets）的檢測相當困難。許多字串在語法上與建構識別碼、校驗和、資產雜湊或範例值高度重疊，只靠規則很難判斷真偽。這些被稱為「硬負樣本」（hard negatives）的字串，雖然符合憑證模式，卻不是可用的真實憑證，例如文件中的佔位符、測試用的假資料或本機端設定。

為了解決這個問題，GitHub 設計了兩階段管線，結合確定性掃描與機器學習。第一階段用正則表達式（Regex）廣泛掃描，以高召回率快速篩出潛在的憑證字串。第二階段引入經過微調的 ModernBERT 分類器，評估候選字串及其周圍的上下文，包括檔案路徑、變數名稱及鄰近程式碼。系統藉此學習區分真實憑證與假陽性，例如辨識出包含「example」、「dummy」或「replace-me」等關鍵字的字串風險較低，進而過濾掉文件片段、測試 fixture 或非敏感識別碼。

技術架構與訓練策略：從 LLM 轉向緊湊型分類器

新系統選擇 ModernBERT 作為核心分類器，因為它體積小、效率高，適合在短視窗內做高吞吐量、低延遲的分類決策。LLM 會生成自然語言輸出，這個編碼器分類器則直接針對決策邊界訓練，並用與秘密掃描品質相關的召回率與精確度指標評估。模型以 ONNX 格式匯出並採用 8 位元量化，進一步加快推論。

在訓練資料方面，GitHub 結合三個來源：來自 GitHub 儲存庫的產品衍生範例、高召回率的 Regex 候選者（包含人工註解與弱標籤），以及針對稀疏且困難案例（如文件秘密、公鑰、結構化相似物）生成的合成範例。訓練過程著重真實秘密、realistic 假陽性，以及容易混淆 Regex 的硬負樣本。每筆模型輸入包含候選值、檔案路徑、秘密類型及受限的周圍上下文。為了讓評估更嚴謹，資料在分割前會依儲存庫、候選值或範例分組，避免近乎重複的資料同時出現在訓練集與評估集。

效能提升與未來展望

線上評估結果顯示，新管線在儲存庫所有者加權接受度上提升 11.5%。這項指標按儲存庫所有者加權，減少了大量一次性解決警報的客戶對簡單平均值的扭曲影響。與之前的 LLM 管線相比，中位數後推送掃描執行時間降低 86%，服務成本降低超過 98%。在離線評估中，新管線在相同公開流量下，精確度提高 13%，召回率提高 19%。

GitHub 表示，最好的安全工具是開發者願意信任並使用的工具。精確度更高，代表干擾性警報更少；召回率更高，代表能捕捉到更多真實秘密；成本更低，則讓掃描不會變得過於昂貴。未來，GitHub 將專注於建立持續改進的飛輪，利用生產環境的反饋循環找出新的假陰性與假陽性，並把真實世界的訊號轉成品質更高的訓練資料。此外，團隊也在探索新的模型架構，目標是把秘密檢測與提取整合為單一步驟，在維持準確性與規模的同時，降低管線複雜度。