ds4

DwarfStar 4 是一个专为 DeepSeek V4 Flash 设计的本地推理引擎，主要针对 Metal 后端进行了优化。该项目完全自包含，不依赖于其他运行时环境，旨在高效且正确地运行模型，并提供特定的加载、提示渲染、工具调用、KV状态管理（内存和磁盘）以及服务器API等功能，适用于编码代理或通过提供的CLI接口操作。此外，还支持NVIDIA CUDA和AMD ROCm后端（后者仅在单独分支中维护），并具备生成GGUF和imatrix文件及质量速度测试的能力。其特点包括：高效的参数利用使得模型运行更快；在思考模式下，思考部分长度与问题复杂度成正比，显著短于同类模型；拥有1百万token的上下文窗口；支持2位量化以适应有限内存环境；以及高度压缩的KV缓存支持长时间上下文推理。适合需要高性能本地推理能力的应用场景，尤其是对大容量文本处理有需求的情况。