產品發佈
Redis 創始人推出 ds4，支援本地端執行 LLM
From the creator of Redis; run LLM locally with ds4
Hacker News · 2026-10-03
摘要
Redis 的創始人推出了名為 ds4 的新工具，讓使用者能夠在本地端機器上執行大型語言模型（LLM）。這項發布為開發者與技術愛好者提供了一種在本地環境中部署與測試 AI 模型的新選擇。
Redis 創始人發布 ds4，這是一個專為高記憶體 Mac、CUDA 及 ROCm 機器設計的窄 C 語言推理引擎，採用 MIT 授權，旨在讓使用者能在本地端執行前沿開放權重的大型語言模型。該工具支援 DeepSeek V4、V4.1 Flash、GLM 5.x 以及 Qwen3.8 Flash Next，涵蓋文字與視覺模型，並提供本地 API、CLI 及原生代理程式。
ds4 的核心技術包含非對稱 2-bit 量化，針對路由專家進行壓縮同時保留關鍵共享路徑的精確度，使路由 MoE 模型能適應目標機器。此外，KV 快取被設計為磁碟公民，可將長前綴儲存至 SSD 並透過提示雜湊恢復，避免重新啟動時需進行完整重新填充。引擎整合 CLI、HTTP API 與原生代理程式，三者共享相同的模型狀態與快取。
硬體支援方面，Apple Silicon Mac 需 64 GB 以上記憶體，例如 Mac Studio 512 GB 可運行 V4.1 Q4；亦支援 NVIDIA DGX Spark 或通用 CUDA Linux 機器，以及 AMD Strix Halo 等 ROCm 設備。
●開發者：可關注本地端 LLM 部署新工具
●投資人：AI 基礎設施與邊緣運算領域值得留意
重要性評分
🟠 值得關注
喜歡這篇？每天早晨還有更多。
訂閱 5min AI，讓 AI 替你追蹤整個 AI 世界。
相關指南
LLM 模型安全與倫理實戰：2026 年企業合規與風險管理指南
2026 年企業如何確保 LLM 模型安全？本指南涵蓋 AI 倫理規範、企業 AI 合規策略及模型紅隊測試實戰步驟，協助建立安全的 AI 部署環境。
閱讀指南 →
LLM 是什麼？5 分鐘白話文解釋大型語言模型運作原理
LLM（大型語言模型）是什麼？本文用白話文解釋：LLM 是怎麼「學會」語言的、預測下一個字是怎麼回事、ChatGPT 和 Claude 都是 LLM，5 分鐘看懂核心原理。
閱讀指南 →
TypeSafe Jev 實際上手：三種情境，看「只做判斷的 AI」能替你省掉哪些 if
用新聞分類、社群選題、讀者來信路由三種情境，示範 TypeSafe Jev 這種「只做判斷的 AI」能替你省掉哪些 if，外加幾個它做不到的邊界測試、422 拒絕原文，以及三個必須自己補的坑。
閱讀指南 →🤖 本文摘要由 AI 自動生成，內容源自原始報導。如有疑慮，請參閱關於我們。
喜歡這篇？每天早晨還有更多。
訂閱 5min AI，讓 AI 替你追蹤整個 AI 世界。