
transformer-zh-en
philexohf
PyTorch原生实现Transformer中英翻译,完全手写全部组件,单卡12GB显存BLEU达36分。
AI 简介
这是一个基于PyTorch纯手写实现的Transformer中英机器翻译模型,完整复现《Attention Is All You Need》核心组件(多头注意力、位置编码、掩码机制等),不依赖nn.Transformer模块。项目采用中英文统一BPE分词(32K词表)、AMP混合精度训练、余弦退火+Warmup优化策略,在单卡RTX 4070 Ti(12GB)上训练11个epoch即可达到BLEU 36.87。提供从数据清洗、采样、分词器训练到模型训练与BLEU评估的完整端到端流水线,适合教学演示、算法原理研究及轻量级中英翻译实验。
Python
MIT License52
Stars
8
Forks
52
Watchers
0
Issues
Star 增长
今日0
近 7 天0
近 30 天0
综合评分42.86
默认分支main