codeneedle

Codeneedle 是一个用于评估大型语言模型在长上下文中的位置记忆能力的基准测试工具。它通过将大量源代码插入到语言模型的上下文中，然后要求模型准确复现特定函数的前 N 行代码来衡量模型的位置回忆能力，而不仅仅是简单的实体查找。该项目使用 Python 编写，并采用了 uv 作为环境管理工具，支持多种模型配置和数据集选择。适合于需要对不同语言模型的记忆性能进行比较研究的场景，如学术研究、模型选型等。