local-llm

这是一个面向技术实践者的本地大语言模型（LLM）部署指南项目，系统性整理了在消费级/工作站级硬件上本地运行前沿开源大模型的完整方案。项目涵盖高性能GPU集群搭建（含PCIe Gen4交换机配置、ACS禁用、IOMMU调优等底层优化）、低延迟P2P通信调校、vLLM等推理框架的Docker化部署配置，以及Whisper语音识别的本地化实现。核心特点是聚焦真实硬件选型权衡（如RTX PRO 6000+DDR4平台）、可复现的系统级调参细节和开箱即用的服务模板。适用于希望在自有硬件上稳定、高效部署百亿至五百亿参数级别开源模型的研究者、工程师及AI基础设施实践者。