llmfit

llmfit 是一款用于本地大语言模型（LLM）硬件适配的终端工具，帮助用户快速筛选出能在其现有设备（CPU/GPU/RAM）上高效运行的模型。它自动检测硬件配置，综合评估模型在质量、推理速度、内存占用和上下文长度等维度的适配度，并支持 Ollama、llama.cpp、MLX 等多种本地运行时；提供交互式 TUI、社区实测基准（tok/s、TTFT、VRAM）、多 GPU 与 MoE 模型支持，以及动态量化选择与硬件模拟功能。适用于个人开发者、AI 研究者及边缘部署场景，在资源受限环境下优化 LLM 本地部署决策。