
lemonade
lemonade-sdk
Lemonade helps users discover and run local AI apps by serving optimized LLMs right from their own GPUs and NPUs. Join our discord: https://discord.gg/5xXzkMu8Zk
AI 简介
Lemonade 是一个面向个人设备的本地 AI 服务运行时,专为在消费级 GPU 和 NPU(如 AMD Radeon、Ryzen AI)上高效运行大语言模型(LLM)和多模态模型而设计。它提供兼容 OpenAI/Anthropic/Ollama 标准 API 的本地服务器,支持聊天、代码生成、语音与图像合成等任务,并具备自动硬件适配、ONNX Runtime 加速及 Vulkan/ROCm 优化能力。适用于注重隐私、离线可用性与硬件自主控制的本地 AI 应用开发、桌面端 AI 工具集成及边缘侧模型推理场景。
C++
4.8k
Stars
387
Forks
30
Watchers
296
Issues
Star 增长
今日0
近 7 天0
近 30 天+157
综合评分66.77
默认分支main