metaseq

Metaseq 是一个面向大规模语言模型（尤其是 OPT 系列）训练与推理的高效研究型代码库，基于 fairseq 构建，专为分布式训练、低资源推理和多框架集成优化。核心功能包括对 OPT-125M 至 175B 模型的完整支持，兼容 DeepSpeed、Alpa、Colossal-AI 等并行训练框架，并提供与 Hugging Face Transformers、CTranslate2（含 SmoothQuant 8-bit 量化）、FasterTransformer 等主流推理引擎的无缝对接。适用于学术界与工业界开展大模型预训练、微调、量化部署及异构硬件（如 A100/V100/T4）上的高效服务研究。