mlc-llm

MLC LLM 是一个面向大语言模型（LLM）的通用部署引擎，基于机器学习编译技术实现跨平台高性能推理。其核心功能包括将主流开源LLM（如Llama、Phi、Qwen等）通过TVM等编译器自动优化为原生可执行代码，并支持在AMD/NVIDIA/Apple/Intel GPU、Web浏览器（WebGPU/WASM）、iOS、iPadOS及Android等多样化硬件上高效运行；提供OpenAI兼容API，支持Python、JavaScript、移动端原生调用。适用于边缘设备部署、本地私有化推理、跨平台AI应用开发等对性能、隐私与硬件兼容性要求较高的场景。