
ashforge
MMMchou
One-command local LLM deployment with automatic hardware probing, GGUF model matching, KV cache tuning, warmup benchmarking, and OpenAI-compatible API gateway. 一条命令启动本地 LLM:自动硬件检测、模型匹配、KV cache 选型、上下文长度探测、warmup 调参,并暴露 OpenAI-compatible API。
AI 简介
Ashforge 是一个通过一条命令即可启动本地大语言模型(LLM)的工具,它能够自动检测硬件、匹配GGUF模型、调整KV缓存、探测上下文长度以及warmup调参,并提供与OpenAI兼容的API接口。其核心技术特点包括基于实际硬件性能进行自动优化配置,如选择最佳KV缓存类型、上下文大小和ubatch大小等,从而实现最大化的运行效率。适用于需要在本地快速部署并高效运行大型语言模型的场景,特别是对于那些希望充分利用自身硬件资源以获得更佳性能的研究人员或开发者而言非常有用。
Go
MIT License29
Stars
0
Forks
29
Watchers
0
Issues
Star 增长
今日0
近 7 天0
近 30 天0
综合评分40
默认分支main