pi-llamacpp

pi-llamacpp 是一个实验性的扩展项目，用于在本地运行和管理基于 llama.cpp 的 Qwen 模型。它通过注册 Qwen3.6 GGUF 模型、自动下载匹配的 llama.cpp 运行时及选定的 GGUF 模型，并启动 `llama-server` 服务来实现这一功能，在 Pi 关闭时自动停止服务。该项目支持多种量化版本的密集（27B）与混合专家（35B-A3B MoE）模型，以适应不同场景下的计算资源需求。适合需要在本地部署高性能语言模型进行推理的应用场合，例如自然语言处理任务中的文本生成、对话系统等。