llmfit

llmfit 是一个终端工具，旨在帮助用户根据自身硬件条件（RAM、CPU 和 GPU）选择最适合的大规模语言模型。该项目采用 Rust 语言编写，支持数百种模型及服务提供商，并通过单一命令行指令自动检测用户的硬件配置，评估模型在质量、速度、适配度和上下文处理能力等方面的性能，从而推荐最合适的模型。它还提供了交互式 TUI 和经典 CLI 模式，支持多 GPU 设置、MoE 架构、动态量化选择等功能。此外，llmfit 引入了社区基准测试功能，让用户可以查看其他相同硬件配置下的实际运行表现数据。此工具非常适合需要高效利用本地资源进行大规模语言模型训练或推理的开发者和研究人员使用。