LiteRT

LiteRT 是 Google 的设备端框架，用于在边缘平台上高效部署高性能的机器学习和生成式AI。它继承了 TensorFlow Lite 的优势，通过高效的转换、运行时管理和优化技术，提供先进的GPU/NPU加速能力，从而显著提升ML和GenAI任务的执行效率。该框架支持直接在设备上部署大型语言模型，并且能够通过WebGPU和WASM实现在浏览器中的安全客户端侧推理。此外，它还提供了一个轻量级的C++库来操作高性能张量。LiteRT 适用于需要在资源受限环境中快速准确地执行AI任务的各种场景，如物联网设备、移动应用以及嵌入式系统等。