ramalama
containers
RamaLama is an open-source developer tool that simplifies the local serving of AI models from any source and facilitates their use for inference in production, all through the familiar language of containers.
AI 简介
RamaLama 是一个开源的 AI 模型本地运行与推理工具，通过 OCI 容器抽象简化 AI 模型的拉取、部署和调用。它自动检测主机 GPU（支持 CUDA、HIP、Intel GPU），拉取对应硬件优化的加速容器镜像，支持从各类模型仓库（如 Hugging Face、OCI Registry）加载 LLM 等模型，并提供 REST API 和交互式聊天接口；所有运行默认在 rootless 容器中，保障隔离性与安全性。适用于开发者本地快速验证模型、CI/CD 中集成推理服务，以及边缘或离线环境下的轻量级 AI 应用部署。
Python
MIT License3k
Stars
347
Forks
34
Watchers
71
Issues
Star 增长
今日0
近 7 天0
近 30 天+30
综合评分62.62
默认分支main