ChatGLM2-6B

ChatGLM2-6B 是一个开源的中英双语对话语言模型。该项目基于 GLM 混合目标函数，通过 1.4T 中英标识符的预训练与人类偏好对齐训练，大幅提升了模型在多个数据集上的性能，如 MMLU、CEval 和 GSM8K 等。此外，它支持更长的上下文长度（最高可达 32K），并采用 FlashAttention 和 Multi-Query Attention 技术，提高了推理速度和降低了显存占用。ChatGLM2-6B 适合需要高质量双语对话能力的应用场景，例如客服系统、智能助手等，并且对于学术研究完全开放，在填写问卷后也允许免费商业使用。