bert

这是一个由Google Research发布的BERT预训练模型及TensorFlow实现代码的官方开源项目，提供标准BERT-Base/Large及24种轻量级变体（如BERT-Tiny、Mini、Small、Medium）。核心功能包括基于Transformer的双向语言建模、支持下游任务微调，并特别优化了小模型在资源受限环境下的部署与知识蒸馏应用。技术特点涵盖WordPiece分词、掩码语言建模（MLM）和下一句预测（NSP）预训练目标，全部模型均兼容TensorFlow 1.x生态。适用于自然语言理解、文本分类、命名实体识别等NLP任务的学术研究与工业级轻量化落地。