ClawLoop：透過 Harness-Native 訓練循環實現自我改進的 AI Agent

研究團隊提出 ClawLoop 框架，解決現有基於 Harness 環境的 LLM Agent 缺乏自我改進能力、訓練管道依賴外部教師模型與人類先驗知識的問題。ClawLoop 整合任務合成、訓練、診斷與反饋三個階段，形成無需外部教師或人類先驗知識的自我維持循環，實現 Agent 自主優化。

在任務合成階段，系統透過兩種互補的建構常規生成多樣化訓練任務池，應用診斷條件下的難度增長，並進行無 Agent 與有 Agent 的任務驗證。訓練階段利用監督式微調（SFT）與強化學習（RL）更新 Agent。診斷與反饋階段分析 Agent 的 rollout 行為，產生能力分析報告，作為下一輪任務合成的反饋依據。

實驗以 Qwen3.6-27B 為循環模型，進行 K=3 次迭代，每次生成 1,024 個新訓練任務。每個任務進行 N=8 次 rollout 以進行驗證與 SFT，並設定 Nl=1、Nh=5 過濾過於簡單或困難的任務。結果顯示，ClawLoop 在 SkillsBench、Claw-Eval-Live 和 ClawGym-Bench 上均獲得一致的性能提升。

研究團隊將迭代優化的任務轉移至較小規模的 Qwen3.5-4B 和 9B 模型進行訓練。