llama-gpt

LlamaGPT 是一个可本地部署、完全离线运行的类 ChatGPT 聊天机器人，基于 Llama 2 和 Code Llama 系列开源大语言模型，支持 GGUF/GGML 格式模型在本地设备（如 Umbrel 家庭服务器、M1/M2 Mac 或 Docker 环境）上推理。核心特性包括端到端隐私保护（数据不出设备）、OpenAI 兼容 API 接口、NVIDIA GPU 加速支持，以及对多尺寸模型（7B–70B）的灵活适配。适用于注重数据隐私的个人开发者、边缘计算场景及本地化 AI 应用开发。