Introspective-Diffusion

I-DLM

Introspective-Diffusion

暂无描述

AI 简介

I-DLM 是一种基于扩散机制的新型大语言模型架构,旨在实现与自回归(AR)模型相当的语言生成质量,同时显著提升推理吞吐量。其核心技术是“内省式跨步解码”(ISD),通过单次前向传播加概率验证机制,严格保证输出服从目标AR分布;支持标准AR推理栈(如SGLang、PagedAttention),无需定制硬件或特殊调度器;训练高效,仅需4.5B token即可完成模型转换。适用于对延迟敏感、高并发部署的生产级LLM服务场景,如实时对话系统、批量内容生成和云API推理服务。

Python
BSD 3-Clause "New" or "Revised" License
149
Stars
18
Forks
3
Watchers
1
Issues

Star 增长

今日0
近 7 天0
近 30 天+1
综合评分3.84
默认分支main