RealtimeBench：在即時環境中評估與訓練 AI Agent 的兩階段自我改進方法

即時環境下的推理延遲挑戰

北京大學與三星研究院的研究團隊提出 RealtimeBench，用來評估大型語言模型智能體在遊戲持續運行時的即時反應能力。這個基準測試涵蓋六種遊戲類型，包含馬里奧、蛇、俄羅斯方塊等，共 180 個任務。研究指出，傳統評估常在推理期間暫停遊戲，沒辦法反映真實動態環境中的延遲風險。模型生成回應的同時，遊戲世界仍在變化，原本正確的動作可能因為過時而失效。例如，馬里奧在等待跳躍指令時可能撞上敵人，蛇在延遲後轉向，可能撞上致命障礙。這種「動作年齡」包含推理與排程延遲，直接影響最終結果。

推理能力與即時反應的落差

研究團隊比較了推理能力較強但速度較慢的 GPT-6.1-sol，以及決策速度較快的 Jev 模型。在遊戲暫停的條件下，GPT-6.1-sol 在六種遊戲中有五種表現優於 Jev。但遊戲保持即時運行時，GPT-6.1-sol 的平均分數只有 1.51，遠低於 Jev 的 13.51。這顯示光靠提升推理能力，無法解決即時環境中的延遲問題。即使改用宣稱更快的模型，如 MiMo v2.6 Ultra Speed 或 DeepSeek v4.1 Flash，即時評估下的平均得分也沒有超過 16.62。這說明在動態世界中，及時行動與複雜推理之間存在根本上的拉扯。

TORSI 框架：雙時間尺度自我改進

為了解決這個問題，團隊提出 TORSI 框架，讓「慢速教師」與「快速學生」協作來提升表現。在這個架構中，快速學生 Jev 在遊戲進行時獨立執行動作，不必等教師回應。慢速教師 GPT-6.1-sol 則在回合之間的暫停狀態下，分析學生的失敗軌跡並進行離線練習。教師會測試修正方案，並生成可重複使用的指令，內容包含技能說明與條件動作規則，之後由學生在後續遊戲中遵循。

兩階段改進與跨模型通用性

經過兩輪 TORSI 改進後，Jev 在測試任務上的平均分數從 13.51 提升到 24.19，六種遊戲類型全都有進步。改進過程嚴格透過驗證任務篩選，只有新指令在驗證集上表現優於現有指令時才會被採用。此外，研究發現由 Jev 衍生出的指令不必重新調整，就能用在其他模型上。將這些指令套用到 StartLux 4B、StartLux 27B 與 MiMo 模型後，平均得分分別從 12.22 提升到 25.05、從 16.62 提升到 20.43，以及從 5.95 提升到 7.30。這表示把離線深思熟慮與即時行動分開，能有效增強智能體在持續變化環境中的即時反應能力。