exo

exo 是一个用于在本地多设备上分布式运行前沿大语言模型的开源框架。它通过自动设备发现、基于RDMA over Thunderbolt的超低延迟通信、拓扑感知的张量并行自动切分，以及MLX推理后端，实现跨设备（如多台Mac Studio）高效协同执行超大规模模型。支持OpenAI/Claude/Ollama等主流API协议，并可加载HuggingFace自定义模型。适用于本地AI算力扩展、隐私敏感场景下的离线大模型推理，以及科研与开发中需要单机无法承载的模型规模时的分布式部署。