TinyLlama

TinyLlama项目旨在预训练一个基于3万亿个令牌的1.1B Llama模型。该项目采用了与Llama 2相同的架构和分词器，使得TinyLlama能够无缝集成到许多基于Llama构建的开源项目中。凭借其仅1.1B参数的紧凑设计，TinyLlama特别适合于对计算资源和内存占用有严格限制的应用场景。通过适当的优化，使用16块A100-40G GPU可以在大约90天内完成训练。此外，项目还提供了多个中间检查点以及详细的评估结果，以支持更广泛的实验和应用探索。