orthrus

Orthrus 是一个通过双视图扩散解码实现快速无损的大规模语言模型（LLM）推理框架。它结合了自回归模型的精确生成保真度和扩散模型的高速并行令牌生成能力，特别适用于需要高效且准确文本生成的应用场景。项目基于 Python 语言开发，提供了多种预训练模型选项，这些模型均以 Qwen3 为骨干，并保证严格无损的生成质量。此外，Orthrus 还支持使用 Flash Attention 等先进技术进一步优化性能。无论是对于学术研究还是工业应用中对 LLM 推理效率有高要求的情况，Orthrus 都是一个值得考虑的选择。