structured-cot

structured-cot 是一个用于增强语言模型推理能力的项目，通过在思考过程中应用语法约束来提高效率。其核心功能在于使用GBNF语法文件对思考过程进行结构化限制，在不进行任何训练或微调的情况下显著减少所需的思考令牌数量。例如，在HumanEval+数据集上实现了22倍的压缩率，并在LiveCodeBench的一个子集上提高了14个百分点的准确率。该项目特别适用于需要高效利用计算资源进行复杂问题解决的场景，如代码生成与调试等任务。通过简单地引入一个约20行的GBNF文件，即可大幅降低推理时的计算成本，同时保持甚至提升模型性能。