Automodel

NeMo AutoModel 是一个面向大语言模型（LLM）和多模态大模型（VLM）的 PyTorch 原生分布式训练库，支持开箱即用的 Hugging Face 模型集成。其核心功能包括零配置启动的全参数微调与预训练、基于 DTensor 的 SPMD 并行训练、定制化 CUDA 内核加速及预优化训练配方（如 LoRA、SFT、TP/CP 序列打包）。技术特点涵盖对主流开源模型（如 Llama 3、Qwen3、Gemma、DeepSeek、MuseGlimmer 等）的深度适配与高性能扩展。适用于需要在多卡/多节点环境下高效完成 LLM/VLM 微调、指令对齐或领域适配的研究与工程场景。