parallax

Parallax 是一个分布式模型服务框架，旨在让用户能够在任何地方构建自己的AI集群。它支持在不同配置和地理位置的节点上进行模型推理，核心功能包括本地大语言模型托管、跨平台支持、流水线并行模型切分、针对Mac的分页KV缓存管理和连续批处理以及动态请求调度与路由以实现高性能。该项目特别适合需要灵活部署AI模型的应用场景，如企业内部的私有云环境或个人设备上的AI应用开发。基于Python编写，并采用PyTorch作为主要计算后端，Parallax 为开发者提供了一个强大且易用的工具来加速其AI项目的落地。