利用多目標強化學習與大型語言模型實現 Pareto-Optimal RTL 程式碼生成

Pareto-Optimal RTL Code Generation via Multi-Objective Reinforcement Learning with Large Language Models

arxiv.org · 2026-10-22

摘要

研究團隊提出一種全新的強化學習方法，讓大型語言模型在生成 RTL 電路設計時，不再僅優化單一指標，而是同時兼顧功耗、效能與面積的多目標平衡。這項技術能產生多樣化的 Pareto 最優解集合，讓工程師能根據實際產品需求靈活選擇最佳設計方案，大幅提升了 AI 輔助晶片設計的實用性與效率。

研究重點：讓 LLM 一次產出多組不同取捨的 RTL 設計

日立（Hitachi, Ltd.）研究團隊提出一套以多目標強化學習訓練大型語言模型的方法。模型生成 RTL（暫存器傳輸級）電路時，目標不是把單一電路做到最好，而是讓整批生成的電路在功耗、效能與面積（PPA）之間，形成多樣且高品質的解集合。

現有做法的限制

依據來源，近期的 RLVR（可驗證獎勵強化學習）研究已能讓 LLM 依自然語言規格生成高品質 RTL。部分研究會用 OpenROAD 等工具估算 PPA，把多個目標合併成單一純量獎勵，再進行強化學習。來源指出，這類做法每次訓練只針對單一電路的品質做優化，模型不會明確學到如何涵蓋低功耗、低延遲、小面積等不同取捨的解集合。

來源也說明，實務上各項指標的相對重要性會隨產品需求與設計限制而變。如果能拿到多樣的候選設計，設計者就能事後（a posteriori）依需求挑選合適的取捨。

方法的兩個核心部分

研究團隊的方法有兩個主要元件。

第一，是以生成為基礎的訓練流程。 團隊把「擴大整個 Pareto 解集合的涵蓋範圍」這個集合層級的問題，改寫成序列決策問題：模型在已有電路歷史的條件下，決定下一個要加入的候選電路。訓練採用 GRPO 系列方法，交替進行「以 HVC 獎勵進行強化學習」與「資料集重建」兩個階段。資料集重建會把訓練期間生成的電路與其評估結果併入新的電路歷史，讓歷史長度逐步增加。來源設定歷史長度上限為 5，每個歷史長度的樣本數上限為 1,000。

第二，是以超體積貢獻（Hypervolume Contribution, HVC）作為獎勵。 HVC 衡量一個新生成的電路，相對於既有電路集合，能讓超體積增加多少，也就是它對 Pareto 前緣的貢獻程度。來源指出，通過測試平台的候選電路才會進行 PPA 估算，並依參考電路的 PPA 做正規化；未通過者 HVC 為 0。獎勵方面，通過測試者得到 1.0 加上 HVC，未通過者得到 0，且 HVC 會被截斷在 [0, 3.0] 範圍內，以穩定訓練。

實驗設定

實驗使用 RTLLM v2 基準測試。來源指出，團隊以 VeriReason-3B 與 CodeV-R1-Distil-7B 兩個公開模型作為基礎模型，分別比較五種方法：未經 PPA 最佳化的原始模型（Base）、單一純量獎勵的強化學習（Single-Objective PPA）、兩種使用相同生成式訓練流程但獎勵不同的對照組（Sequential TB、Sequential TB+PPA），以及本文提出的 Sequential HVC。

訓練資料方面，來源說明團隊從 VeriReason 的 hard 等級 1,149 題中，先篩出 889 題供非生成式的單目標訓練使用；再以 CodeV-R1-Distil-7B 生成多個候選電路，挑出面積與延遲之間呈負相關（r < 0）的 78 題，用於生成式訓練。評估則使用 RTLLM v2 中 50 題裡測試平台與 PPA 估算都成功的 45 題，並以 T=0.5 進行多次試驗。

評估指標有三項：以參考檔案（由所有模型與所有試驗的非支配解集合構成）計算的相對超體積（rHV）、勝率（Win Rate），以及每題每次試驗中具有不同 PPA 數值的電路數量（電路多樣性）。

主要結果

rHV 方面，來源表 1 顯示，在第 10 次迭代時，以 VeriReason-3B 為基礎的 Sequential HVC 達到 32.4%，比 Base 的 19.1% 高 13.3 個百分點，比 Single-Objective PPA 的 18.0% 高 14.4 個百分點。以 CodeV-R1-Distil-7B 為基礎時，Sequential HVC 在第 10 次迭代為 43.2%，比 Base 的 38.4% 高 4.8 個百分點，比 Single-Objective PPA 的 37.8% 高 5.4 個百分點。

來源另外報告，Sequential HVC 在第 5 次與第 10 次迭代的 rHV 都是最高。勝率方面，來源指出 Sequential HVC 在兩個基礎模型上幾乎所有迭代次數都是最高，唯一例外是 CodeV-R1-Distil-7B 第 1 次迭代時 Sequential TB 略高。來源也指出，Sequential HVC 的勝率即使超過訓練時的最大歷史長度（第 5 次迭代），仍維持在高水準。

電路多樣性方面，來源表示 Sequential HVC 在兩個基礎模型上生成的電路都最多樣；Sequential TB 與 Sequential TB+PPA 的多樣性最低，常常每次試驗只產生一個不重複的電路。來源將此解讀為獎勵駭客（reward hacking）：模型只是重複生成先前的電路。

來源另有附錄分析，包括加入重複懲罰的消融實驗（附錄 E.4）。結果顯示，即使避免重複，其 rHV 與勝率仍低於 Sequential HVC，作者據此認為效果來自直接最佳化 Pareto 前緣的貢獻，而不只是避免重複。

研究限制

來源明確列出幾項限制： - 研究僅針對電路設計，應用於控制工程等其他領域尚未驗證。 - 目前只驗證了三維目標（PPA）的情境，目標維度增加時的計算成本仍是挑戰。 - 受 LLM 上下文長度限制，電路歷史的輸入長度有上限，若 Pareto 前緣上的解非常多，就難以全部列舉。 - 評估只用了 RTLLM v2 單一基準，生成式訓練資料也只有 78 題，更大規模的資料驗證仍待未來進行。