
ds4
antirez
DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm
AI 简介
DwarfStar 4(ds4)是一个专为 DeepSeek V4 Flash 模型设计的轻量级本地推理引擎,完全自包含,不依赖通用运行时。它支持 Metal(macOS 主力)、CUDA(NVIDIA)和 ROCm(AMD)后端,提供模型加载、提示渲染、工具调用、内存与磁盘持久化的 KV 缓存管理,以及配套 CLI 和服务器 API。针对 DeepSeek V4 Flash 的百万 token 上下文、高压缩 KV 缓存和 2-bit 特殊量化适配进行了深度优化,可在配备 96GB+ RAM 的 MacBook 等本地设备上高效运行长上下文推理任务,适用于本地 AI 编程助手、研究型编码代理及需高可控性的私有化模型部署场景。
C
MIT License18.1k
Stars
1.6k
Forks
143
Watchers
96
Issues
Star 增长
今日0
近 7 天0
近 30 天+1738
综合评分44.58
默认分支main