x-transformers

x-transformers 是一个轻量但功能完备的全注意力机制Transformer实现库，支持Encoder、Decoder及Encoder-Decoder三种主流架构，并集成多篇论文中的前沿实验性特性（如交叉注意力、可配置的注意力头维度、状态空间建模等）。它提供统一API，兼容文本、图像（ViT）及跨模态任务（如图像描述生成），具备良好的模块化设计与易用性。适用于需要快速验证新型注意力机制、构建中小型Transformer模型或教学研究的场景，不侧重超大规模训练，强调简洁性与扩展性。