lmdeploy

LMDeploy 是一个用于压缩、部署和服务大型语言模型（LLM）的工具包。它支持多种量化方法，包括4位对称/非对称量化，并且集成了如Deepspeed和FasterTransformer等技术以优化性能。此外，LMDeploy还提供了针对不同硬件平台（如NVIDIA GPU和华为Ascend）的优化，使得在这些平台上运行LLM更加高效。该项目非常适合需要将LLM快速集成到生产环境中的开发者使用，无论是对于研究还是商业应用都能提供强大的支持。