JoyAI-LLM Flash：以 Token 效率突破中等規模語言模型性能邊界

JoyAI 推出 JoyAI-LLM Flash，這是一款專為 50B 參數以下規模設計的 Mixture-of-Experts (MoE) 語言模型，旨在重新定義強性能與 Token 效率之間的權衡。該模型在包含 20 兆 (20 trillion) Token 的龐大語料庫上進行預訓練，並經過包含監督微調 (SFT)、直接偏好優化 (DPO) 以及跨多樣環境的大規模強化學習 (RL) 的嚴謹後訓練流程。

為提升 Token 效率，JoyAI-LLM Flash 策略性地平衡「思考」(thinking) 與「非思考」(non-thinking) 認知模式，並引入 FiberPO 這一基於纖維理論 (fibration theory) 啟發的新型 RL 演算法。FiberPO 將信任區域維護分解為全局與局部組件，為 LLM 策略優化提供統一的跨尺度穩定性控制。

在架構稀疏性方面，該模型擁有 48B 總參數，但每次前向傳播僅啟動 2.7B 參數，實現了比同規模當代行業領先模型更高的稀疏率。為進一步提升推理吞吐量，研究團隊採用了包含密集多 Token 預測 (MTP) 與量化感知訓練 (QAT) 的聯合訓練與推理共同設計。目前，JoyAI-LLM-48B-A3B Base 及其後訓練變體的檢查點已發布於 Hugging Face，以支援開源社群。