ashforge
MMMchou
One-command local LLM deployment with automatic hardware probing, GGUF model matching, KV cache tuning, warmup benchmarking, and OpenAI-compatible API gateway. 一条命令启动本地 LLM：自动硬件检测、模型匹配、KV cache 选型、上下文长度探测、warmup 调参，并暴露 OpenAI-compatible API。
AI 简介
Ashforge 是一个一键式本地大语言模型（LLM）部署工具，专为最大化硬件性能而设计。它通过自动硬件探测、GGUF 模型匹配、KV 缓存格式智能选择（f16/q8_0/q4_0）、上下文长度二分搜索、ubatch 参数调优、warmup 基准测试及 OpenAI 兼容 API 网关，实现开箱即用的高性能推理。支持 Linux/macOS/Windows，第二启动仅需约 2 秒（配置缓存）。适用于对吞吐量、上下文长度和资源利用率有明确要求的本地 AI 应用场景，如私有知识库问答、IDE 辅助编程、离线研究验证与边缘端轻量化部署。
Go
MIT License29
Stars
0
Forks
29
Watchers
0
Issues
Star 增长
今日0
近 7 天0
近 30 天0
综合评分40
默认分支main