flock
hadihonarvar
Self-hosted LLM gateway. One Go binary turns your Macs and Linux boxes into a private inference cluster — multi-machine routing, sharding via llama.cpp-RPC, per-user keys + quotas + audit, OpenAI- and Anthropic-compatible APIs behind one endpoint. Point Cursor / Claude Code / Aider / SDKs at it.
AI 简介
Flock 是一个自托管的 LLM 网关服务，提供统一 API 入口以管理本地大模型推理集群。核心功能包括跨多台 Mac/Linux 设备的负载路由与模型分片（基于 llama.cpp-RPC）、多租户支持（按用户配发密钥、设置调用配额、完整审计日志）、同时兼容 OpenAI 和 Anthropic 协议，并支持接入 Ollama、vLLM、MLX-LM 等多种后端推理引擎。适用于企业或团队在自有硬件上构建私有、可控、可审计的 AI 服务基础设施，尤其适配 Cursor、Claude Code、Aider 等主流 AI 编程工具链。
Go
Apache License 2.057
Stars
1
Forks
1
Watchers
0
Issues
Star 增长
今日0
近 7 天0
近 30 天+1
综合评分41
默认分支main