TinyLlama

TinyLlama 是一个开源的轻量级大语言模型项目，旨在预训练一个参数量为1.1B、架构与Llama 2完全兼容的高效语言模型。项目在16张A100 GPU上完成3万亿token的预训练，具备紧凑参数量、低显存占用和良好推理适配性，支持直接集成到基于Llama生态的开源工具链中。适用于边缘部署、教学实验、本地私有化AI应用及资源受限场景下的文本生成、对话与指令微调任务。