TinyZero

TinyZero 是一个轻量级的强化学习（RL）推理增强框架，用于复现 DeepSeek R1-Zero 的核心能力，使中小规模语言模型（如 3B 参数量级）通过 RLHF 自主习得自我验证与搜索式推理能力。项目基于 veRL 构建，支持 countdown 和乘法等结构化推理任务，依赖 vLLM 进行高效推理，并兼容 FlashAttention-2 与梯度检查点优化显存。适用于资源受限场景下的低成本 RL 推理实验与教学演示，尤其适合研究语言模型自主推理涌现机制。