exo

exo 是一个允许用户在本地设备上运行前沿AI模型的项目。它通过自动设备发现、RDMA over Thunderbolt技术支持以及拓扑感知自动并行处理等功能，将多台设备连接成一个高效的AI集群，不仅能够支持单个设备无法容纳的大规模模型，还显著提升了模型运行速度。exo 支持Tensor并行计算，并与多种主流API兼容，同时提供了自定义模型加载功能。该项目非常适合需要高性能AI计算但又受限于单一硬件能力的研究者或开发者使用。