ReaComp：將 LLM 推理編譯為符號求解器以實現高效程式合成

研究團隊提出 ReaComp 方法，利用編碼代理（coding agents）將少量推理軌跡編譯為受限領域特定語言（constrained DSLs）上的可重複使用符號程式合成器。這種方法旨在解決大型語言模型（LLMs）在需要大量組合搜尋的困難實例上效率低下且不可靠的問題。編譯後的求解器在測試階段完全不需要呼叫 LLM，成為強勁的獨立系統。

在 PBEBench 基準測試中，符號求解器集合展現了優異性能：在 PBEBench-Lite 上達到 91.3% 的準確率，在 PBEBench-Hard 上達到 84.7% 的準確率。對於 PBEBench-Hard 任務，該方法在零 LLM 推理成本下，準確率比使用測試時間擴展（test-time scaling）的 LLMs 高出 16.3 個百分點。

在神經符號混合設定（neuro-symbolic hybrid setting）下，ReaComp 能補充 LLM 搜尋，將 PBEBench-Hard 的準確率從 68.4% 提升至 85.8%，同時將報告的 token 使用量減少 78%。此外，該方法將 SLR-Bench 硬級別（hard-tier）的準確率從 34.4% 提升至 58.0%。與直接將編碼代理作為實例求解器相比，誘導的求解器具有更高的帕累托效率，能夠攤銷一次性的編譯成本。