lm-evaluation-harness

EleutherAI/lm-evaluation-harness 是一个用于语言模型少样本评估的框架。该项目支持多种任务和模型后端，包括Hugging Face Transformers、vLLM等，并且可以通过命令行界面（CLI）或API进行操作。它提供了灵活的任务配置选项，支持YAML配置文件，允许用户自定义提示设计与处理逻辑。此外，该工具还支持多模态输入任务以及高级配置选项，如输出后处理、答案提取等。适用于需要对预训练语言模型性能进行全面测试和比较的研究者及开发者。