airllm

AirLLM 是一个优化大语言模型推理内存使用的项目，使得70亿参数规模的语言模型能够在单个4GB GPU上运行，无需量化、蒸馏或剪枝处理。该项目的核心功能包括高效内存管理、支持多种主流大语言模型（如Llama3.1 405B版本在8GB显存下运行）以及自动检测模型类型以简化初始化过程。此外，它还提供了对MacOS的支持，并且能够通过量化技术进一步降低硬件要求。AirLLM非常适合那些希望利用有限计算资源进行大规模语言模型实验的研究人员和开发者使用。