xformers

xFormers 是一个面向研究者的高性能 Transformer 模块工具箱，提供可组合、可定制的注意力机制、前馈网络等核心组件。其核心特点包括：支持自定义 CUDA 内核以提升训练/推理速度与显存效率；模块解耦、领域无关，兼容 NLP、CV 等多模态任务；持续集成前沿算法（如 FlashAttention、Grouped QKV、Memory-Efficient Attention），常早于主流框架（如 PyTorch）落地。适用于需要快速实验新型注意力结构、优化大模型训练开销或在资源受限环境下部署 Transformer 的研究与工程场景。