OptimalScale

LMFlow

OptimalScale

An Extensible Toolkit for Finetuning and Inference of Large Foundation Models. Large Models for All.

AI 简介

LMFlow 是一个面向大语言模型的可扩展微调与推理工具包,支持指令微调、全参数/LoRA/QLoRA等训练方式,并提供高效推理部署能力。项目基于 PyTorch 构建,深度集成 Hugging Face Transformers 和 Accelerate,具备多卡分布式训练、量化压缩、流式生成等特性,同时提供统一配置接口和开箱即用的示例脚本。适用于学术研究、企业定制化模型开发及中小规模团队快速验证大模型适配效果的场景。

Python
Apache License 2.0
8.5k
Stars
828
Forks
65
Watchers
77
Issues

Star 增长

今日0
近 7 天0
近 30 天0
综合评分64.76
默认分支main