TIDE

TIDE 是一个面向扩散型大语言模型（dLLM）的跨架构知识蒸馏框架，支持将不同架构（如密集型与MoE）、注意力机制和分词器的教师模型（8B/16B）高效蒸馏为轻量级学生模型（0.6B）。其核心包含TIDAL（双轴插值调度）、CompDemo（压缩去噪示范）和Reverse CALM（反向校准）三个模块，实现架构异构下的稳定知识迁移。项目在代码生成等任务上显著提升小模型性能，同时大幅降低显存占用（22×）与推理延迟，适用于边缘设备、低资源场景下的dLLM部署与落地。