torchchat

torchchat 是一个轻量级开源工具，用于在本地设备（服务器、桌面、iOS/Android 移动端）上原生运行 PyTorch 实现的大型语言模型。它支持多种执行模式（Python Eager/Compile、AOT Inductor、ExecuTorch）、多精度计算（FP32/FP16/BF16）与量化方案，并已集成 Llama-3.2 系列（含 1B/3B/11B 视觉-文本多模态版本）及 Llama-Guard 等模型。项目强调跨平台部署能力，适配 x86/Linux、Apple Silicon/macOS、XNNPACK 加速的 Android 及 iOS 17+ 设备，适用于离线场景下的本地化推理、边缘 AI 应用开发与教育演示。