小秩序大作用：LoRA 適配器搭配隨機骨架網路已足夠

一項名為 LottaLoRA 的新研究針對神經網路參數中實際編碼任務特定信息的比例進行調查。該研究提出了一種訓練範式，其中所有骨架權重均隨機初始化並凍結，僅訓練低秩 LoRA 適配器。在涵蓋從單層分類器到 9 億參數 Transformer 等多種架構的九個基準測試中，這種方法僅訓練 0.5% 至 40% 的參數，卻能恢復完整訓練性能 96% 至 100% 的表現。

研究揭示了三個機制性發現：首先，凍結的骨架在靜止狀態下會被積極利用，當學習到的縮放係數 $\beta$ 在所有架構中保持嚴格正值時，若骨架被破壞，優化器會使其靜默，由 LoRA 因子吸收所有任務信息；其次，凍結的骨架雖是首選，但任何隨機初始化均可互換，前提是其在整個訓練過程中保持固定；第三，性能飽和所需的最低 LoRA 秩估計了任務的內在維度，這類似於主成分分析（PCA）中保留的分量數量。

該構建在形式上等同於沿著前饋網路深度軸展開的儲層計算（Reservoir Computing）。由於骨架僅由隨機種子決定，模型可作為適配器與種子分發，其存儲與記憶體佔用隨任務複雜度而非模型大小增長，從而隨著架構擴展產生複合式的節省效果。