開源模型玩到極致：552B 參數塞進 16GB Mac mini，代價是 23 秒等一個字

DeepSeek 9 月 10 日以 MIT 授權開源了 V4.1-Flash，552B 參數的混合專家（MoE）模型。這幾天最猛的畫面是：有開發者真的把它塞進一台只有 16GB 記憶體的低階 Mac mini，跑起來了。代價是什麼？生成一個字要等 23 秒。 23 秒一個字，這速度慢到你打字都比它快。但重點從來不是「能不能用」，而是「能不能跑」。一台幾乎是入門款的 Mac mini，硬體規格離跑動輒幾百 B 參數模型的門檻很遠，過去這種等級的模型想都別想在這種機器上動起來。現在它動了，慢是慢，但它動了。 Matthew Berman 的頻道進一步拆解了為什麼這件事可能成立：V4.1-Flash 是 MoE 架構，雖然總參數量高達 5520 億，但實際運算時只會激活其中一小部分參數，不是全部一起動起來燒記憶體。頻道裡提到，透過演算法優化，這個模型對高頻寬記憶體（HBM）的需求降到原本的四分之一，對 SSD 的需求降到八分之一。這也解釋了為什麼一台 16GB 的機器能硬撐著跑完它——雖然跑得很痛苦。 同一支影片也提到，V4.1-Flash 在基準測試上的表現被拿來跟 Opus 5、GPT 5.6 相提並論，而定價是美分等級，權重完全開源，開發者可以自己下載部署、自己本地跑。 MoE 架構的邏輯其實有點像餐廳：不是整間廚房的廚師同時做一道菜，而是每次只叫出需要的那幾位專才上場，其他人休息。全部廚師都在，但只有用得到的才動手。這也是為什麼「總參數量」這個數字越來越不能拿來簡單估算一個模型到底多難跑。 MoE 加上開源權重加上砍記憶體需求，這條路線正在把「誰能跑大模型」的門檻從機房搬回書桌。23 秒一個字聽起來很荒謬，但半年前，這件事根本不可能發生。