whichllm

whichllm 是一个用于查找最适合您硬件配置的本地大语言模型（LLM）的工具。它能够自动检测您的 GPU/CPU/RAM，并根据实际、最新的基准测试结果而非参数数量来对来自 HuggingFace 的顶级模型进行排名。该工具支持 Python 3.11+，并利用了 gguf、HuggingFace 推理等技术特性。适用于需要在本地部署 LLM 的场景，如个人开发者工作站或小型服务器环境，帮助用户快速找到性能最优且能在其现有硬件上运行的大语言模型。