petals

Petals 是一个用于在个人电脑上以BitTorrent风格运行大型语言模型的项目，支持模型包括Llama 3.1、Mixtral、Falcon和BLOOM等。它通过分布式计算的方式，使得模型微调和推理速度比传统方法快至10倍。基于Python开发，并利用了PyTorch框架与transformer架构，Petals实现了高效的管道并行化和张量并行化技术来加速处理过程。该项目非常适合那些希望在本地机器（如桌面计算机或Google Colab）上低成本地使用强大语言模型的研究人员、开发者以及爱好者们。同时，用户还可以参与到贡献GPU资源给公共网络中去，共同提高整个系统的性能。