智能體自主設計神經網絡架構：AIRA-Compose 和 AIRA-Design 框架

研究團隊開發了 AIRA 雙框架系統，讓 LLM 智能體能夠自主設計超越標準 Transformer 的基礎模型。AIRA-Compose 用 11 個智能體進行高級架構搜索，AIRA-Design 負責低層機制實現，在 24 小時預算內探索百萬參數候選模型，並將最優設計擴展到 350M、1B、3B 規模。新發現的 AIRAformer 和 AIRAhybrid 架構在 1B 規模預訓練後，相比 Llama 3.2 下游任務準確率分別提升 2.4% 和 3.8%，同時展現出更高效的擴展速度。