智能體自主設計神經網絡架構：AIRA-Compose 和 AIRA-Design 框架

研究團隊提出 AIRA 雙框架系統，旨在讓 LLM 智能體自主設計超越標準 Transformer 的基礎模型。該系統包含 AIRA-Compose 與 AIRA-Design 兩個部分，前者負責高層架構搜索，後者負責低層機制實現。AIRA-Compose 調用 11 個智能體，在 24 小時預算內探索百萬參數候選模型，並將最優設計外推至 350M、1B 及 3B 規模，最終產出 14 種架構，分為 AIRAformers（基於 Transformer）與 AIRAhybrids（Transformer-Mamba）兩大類。

在 1B 規模預訓練後，新架構在下游任務中表現優異。AIRAformer-D 與 AIRAhybrid-D 相對於 Llama 3.2 的準確率分別提升了 2.4% 和 3.8%，同時優於 Composer 發現的基線模型。擴展效率方面，AIRAformer-C 的擴展速度比 Llama 3.2 快 54%、比 Composer 的最佳 Transformer 快 71%；AIRAhybrid-C 則比 Nemotron-2 快 23%、比 Composer 的最佳混合模型快 37%。

AIRA-Design 則指派 20 個智能體撰寫針對長距離依賴的新型注意力機制及高效訓練腳本。在 Long Range Arena 基準測試中，智能體設計的架構在文檔匹配與文本分類任務上，分別達到人類最優水平的 2.3% 與 2.6% 差距。此外，在 Autoresearch 基準測試中，Greedy Opus 4.5 在固定時間預算下達到 0.968 驗證比特/字節，超過了已發表的最小值。這些結果顯示 AI 智能體能自主發現匹配或超越手動設計基線的架構與演算法優化。