LiteRT-LM
google-ai-edge
LiteRT-LM is Google's production-ready, high-performance, open-source inference framework for deploying Large Language Models on edge devices.
AI 简介
LiteRT-LM 是 Google 开源的边缘端大语言模型推理框架，专为在资源受限设备上高效部署 LLM 而设计。它支持跨平台（Android/iOS/Web/桌面/树莓派）、硬件加速（GPU/NPU）、多模态输入（视觉/音频）、函数调用与智能体工作流，并已实现在 Chrome、Chromebook Plus、Pixel Watch 等产品中落地。核心特性包括轻量级 C++ 实现、OpenAI 兼容 API、推测解码优化及主流开源模型（Gemma/Llama/Phi-4/Qwen）适配。适用于离线场景下的本地化 AI 应用开发，如终端侧智能助手、嵌入式设备对话系统与隐私敏感的边缘生成式 AI 服务。
C++
5.8k
Stars
618
Forks
67
Watchers
179
Issues
Star 增长
今日0
近 7 天0
近 30 天+144
综合评分71.38
默认分支main