SIEVE：樣本高效自然語言參數化學習新方法

研究團隊提出 SIEVE 方法，旨在實現樣本高效（sample-efficient）的自然語言參數化學習，該方法僅需三個查詢範例（query examples）即可運作。此技術針對傳統參數化學習數據需求過高且依賴高品質痕跡（high-quality traces）或自動化驗證器（automated verifiers）的痛點，利用自然語言上下文中的豐富信號進行模型適應。

SIEVE 的核心機制包含一個名為 SIEVE-GEN 的合成數據生成管道，該管道基於上下文可分解（context is decomposable）的洞察。透過將上下文分解，系統能將合成查詢與適用的上下文配對，而非使用完整上下文，從而生成更高品質的輸出（rollouts）。隨後，研究團隊利用上下文蒸餾（context distillation）技術，將外部知識內化至模型權重中。

研究團隊在需要上下文的推理設定（reasoning settings）中對該方法進行了評估，測試範圍涵蓋自訂領域（custom domains）以及 R 相關任務。SIEVE 的提出顯示了透過自然語言上下文進行參數化學習的可行性，並大幅降低了對大量數據的依賴。