NanoCamelid

NanoCamelid 是一个专为树莓派等 ARM64 嵌入式设备优化的轻量级 LLM 推理引擎，原生使用 Rust 实现。它直接加载并运行 GGUF 格式本地大语言模型，支持多种量化精度（如 Q4_K、Q6_K、IQ4_NL 等）和主流模型架构（Llama、Qwen、Mistral、Gemma 等），具备终端交互式聊天、KV 缓存复用、批处理预填充及上下文长度可控测试等能力。所有性能优化均基于树莓派实测验证，强调可追溯性与小体积。适用于边缘端低功耗场景下的离线本地推理，如教育实验、IoT 语音助手原型、嵌入式 AI 演示等。