Foundry-Local

Foundry Local 是一个面向终端设备的轻量级本地 AI 运行时 SDK，用于在用户设备上离线运行大语言模型与语音识别模型。它提供 OpenAI 兼容 API、自动硬件加速（支持 NPU/GPU/CPU）、预优化模型目录（涵盖 chat completions 与 Whisper 类语音转文本模型），并内置智能模型管理与 ONNX Runtime 推理引擎。运行时仅约 20 MB，无需网络依赖、API 密钥或云订阅，适用于隐私敏感、低延迟或离线场景下的桌面/嵌入式应用集成。