llm

这是一个已归档的Rust语言LLM推理库生态系统，基于GGML实现本地大语言模型的加载、量化与CPU推理。核心功能包括支持主流开源模型格式（如GGUF）、多种量化精度（Q4_K_M等）、纯Rust实现的模型加载与生成逻辑，以及轻量级API设计。适用于资源受限环境下的离线LLM推理场景，如嵌入式设备、CLI工具或需避免外部依赖的本地应用。由于项目已停止维护，建议新项目选用Candle、Ratchet或llama.cpp绑定等活跃替代方案。