Chinese-LLaMA-Alpaca-2

该项目是基于Meta的Llama-2开发的中文LLaMA-2和Alpaca-2大模型二期项目，开源了支持64K超长上下文的中文基座模型与指令精调模型。核心功能包括扩充并优化了中文词表、使用大规模中文数据进行增量预训练以提升中文语义理解和指令执行能力，并且支持FlashAttention-2技术。此外，还提供了RLHF系列模型，进一步增强了模型在体现正确价值观方面的能力。这些模型适用于需要处理大量中文文本或有较长对话历史的应用场景，如客服系统、智能写作助手等。通过提供详细的预训练和指令精调脚本，用户可以轻松地根据自身需求定制化训练模型。