llama.cpp

llama.cpp 是一个用 C/C++ 实现的大型语言模型（LLM）推理项目。它利用了 ggml 库，能够高效地在 CPU 上运行 LLM 推理任务，支持多种量化格式以优化内存使用和计算效率。该项目还提供了 REST API 服务、WebUI 和多模态支持等功能，便于开发者集成到不同的应用场景中。适合需要低资源消耗环境下进行 LLM 推理的应用场景，如嵌入式设备或边缘计算环境下的自然语言处理任务。