unilm

UniLM 是微软推出的统一预训练语言模型系列，支持跨任务（理解与生成）、跨语言（100+语种）和跨模态（文本、图像、音频、文档布局等）的大规模自监督学习。其核心技术包括统一架构设计（如UniLMv2/v3）、多模态大模型（Kosmos系列）、长序列建模（LongNet）、高效稀疏架构（X-MoE）、超深网络（DeepNet）及1-bit量化（BitNet）等。项目面向基础模型研究与应用，适用于多语言NLP、文档智能、多模态理解与生成、AI代理等需要强泛化能力的场景。