parallax

Parallax 是一个开源的分布式大语言模型（LLM）推理服务框架，支持在异构硬件上构建去中心化的AI计算集群。它提供模型分片（Pipeline Parallelism）、分页KV缓存、连续批处理、动态请求调度与跨平台P2P通信等核心能力，可在个人设备、边缘节点或混合云环境中部署本地LLM服务。适用于需要隐私可控、低成本扩展或资源受限场景下的私有化AI推理，如企业内网部署、多设备协同推理及主权AI基础设施建设。