nunchaku

Nunchaku 是一个针对4位神经网络优化的高性能推理引擎，基于论文[SVDQuant](http://arxiv.org/abs/2411.05007)提出。该项目通过低秩分量吸收异常值的方法实现了高效的4位量化模型，支持LoRA和ComfyUI，并且在最新版本中为20系列GPU提供了INT4支持。其核心功能包括显著提升Z-Image性能、无缝集成LoRA以及与ComfyUI 0.7兼容。Nunchaku适用于需要高效运行深度学习模型的应用场景，特别是在资源受限环境下追求快速推理速度的情况。