x-transformers

x-transformers 是一个简洁而全面的Transformer实现，集成了多种论文中提出的实验性功能。该项目支持全注意力机制，并提供了丰富的配置选项，如编码器-解码器结构、仅解码器（类似GPT）和仅编码器（类似BERT）等模式，以及图像分类和图像到文本描述的功能。它使用Python编写，具有良好的模块化设计，易于集成与扩展。适用于需要高效灵活地应用或研究Transformer模型的各种自然语言处理任务及多模态场景。