UniSD

UniSD 是一个面向大语言模型的统一自蒸馏框架，旨在不依赖外部教师模型的情况下提升模型性能。它整合了多教师一致性、EMA教师稳定、令牌级对比学习、特征匹配与发散裁剪等互补机制，系统性解决自蒸馏中监督信号不可靠、表征对齐困难和训练不稳定等核心问题。项目基于 PyTorch 和 Hugging Face Transformers 实现，支持主流开源 LLM，并在六项基准任务上验证了有效性。适用于需要轻量级模型优化、无监督/弱监督微调、或受限于教师模型获取能力的研究与工程场景。