autonomous-ai

autonomous-grid

autonomous-ai

Grid is the orchestration layer for local AI. It pools the computers you already own to run AI inference.

AI 简介

Grid 是一个本地 AI 推理编排层,用于聚合用户已有的多台计算机(如 Mac、NVIDIA 工作站等)组成分布式推理集群。它提供统一的 OpenAI 兼容 API 端点,自动将请求路由至运行对应模型的节点;支持本地局域网直连和通过 Autonomous Relay 实现远程访问两种模式,无需迁移现有推理服务(如 Ollama、vLLM、llama.cpp 等),仅做轻量级协调。适用于个人/小团队在私有硬件上高效复用算力、构建低延迟本地大模型服务的场景。

Python
MIT License
83
Stars
2
Forks
1
Watchers
0
Issues

Star 增长

今日0
近 7 天0
近 30 天0
综合评分41.43
默认分支main