talkie-coder

该项目致力于将基于1930年代前文本预训练的LLM（talkie-1930）和网络文本预训练的对照模型（talkie-web）通过监督微调（SFT）适配软件工程任务，特别是SWE-bench代码修复场景。核心功能包括SFT训练流程、SWE-bench轨迹数据处理、评估管道及结果分析；技术特点涵盖长上下文（64K）、Liger损失优化、变长注意力与梯度检查点等高效训练支持。适用于研究历史语言知识对现代编程任务的迁移能力、低互联网依赖的代码模型微调，以及SWE-bench类软件工程代理评估场景。