petals

Petals 是一个分布式框架，允许用户在本地设备上运行超大规模语言模型（如 Llama 3.1、Mixtral、Falcon、BLOOM），采用类似 BitTorrent 的去中心化协作方式分发模型层。其核心功能包括分布式推理与微调，通过管道并行和志愿者计算资源协同，显著提升效率（相比传统卸载方案快达 10 倍）。支持 Hugging Face 模型即插即用，兼顾隐私控制（可建私有 swarm）与低门槛部署（兼容 Colab 与桌面 GPU）。适用于个人研究、教育实验、轻量级企业原型开发等对算力与隐私有折中需求的场景。