PaddleFormers

PaddleFormers 是一个基于 PaddlePaddle 深度学习框架构建的预训练大语言模型库，旨在为用户提供与 Hugging Face Transformers 项目对等的模型接口与功能体验。该项目支持多种主流的大语言模型（LLM）和视觉语言模型（VLM），如 DeepSeek-V3、GLM-4.5 系列、Qwen2 和 Qwen3 系列等，并具备张量并行、流水线并行及专家并行等先进的分布式训练策略，以及自动混合精度等加速技术。PaddleFormers 通过实现 FP8 低精度训练、通信计算重叠优化等方法，在提高训练效率的同时降低资源占用。此外，它还支持国产计算平台如昆仑芯 P800 和天数天垓150，适用于需要高效训练大规模语言模型或视觉语言模型的研究者和开发者。