ntkmirror

NTK-Mirror 是一个用于Hugging Face因果语言模型的无LoRA前向传递微调工具。该项目通过在冻结的Transformer上学习一个小规模的控制器来实现模型的微调，该控制器由一系列稀疏共享的日志门控组成，这些门控作用于解码器层输出通道上，且不会对模型权重进行永久性修改。这种技术特别适用于需要快速、轻量级地调整预训练模型以适应特定任务或数据集的场景，比如教育、客服等领域的自然语言处理任务。使用Python开发，并采用MIT许可证发布，使得NTK-Mirror易于集成到现有项目中。