lmms-eval

LMMs-Eval 是一个面向文本、图像、视频和音频任务的多模态统一评估工具包。该项目的核心功能包括提供超过100种任务和30多种模型的支持，旨在通过可复现、高效且值得信赖的方式对前沿模型进行评估。它采用异步服务、自适应批处理及视频I/O优化等技术手段确保大规模评估时的性能。适用于需要对多模态模型进行全面测试与比较的研究者和开发者，帮助他们更好地理解模型能力边界并指导后续开发方向。