
pi-ds4
mitsuhiko
Run deepseek4 locally on metal right from within Pi
AI 简介
pi-ds4 是一个用于在本地运行 DeepSeek V4 Flash 模型的 Pi 提供程序扩展。该项目通过注册 `ds4/deepseek-v4-flash` 和 `ds4/deepseek-v4-flash-q2-imatrix` 作为模型,按需启动 `ds4-server`,并根据系统内存自动选择合适的量化模型(如128GB RAM时使用q2模型,256GB以上RAM时使用q4模型)。它还提供了Hugging Face令牌支持以加速下载,并通过内置的看门狗机制管理服务器生命周期。适用于需要在Mac设备上进行高效本地AI模型推理的应用场景,尤其是那些对用户体验和性能有较高要求的情况。
TypeScript
MIT License151
Stars
37
Forks
3
Watchers
2
Issues
Star 增长
今日0
近 7 天+3
近 30 天+42
综合评分50.44
默认分支main