OlliteRT

OlliteRT 是一款面向 Android 设备的本地大语言模型（LLM）推理服务框架，可将手机转变为兼容 OpenAI 和 Anthropic API 标准的私有化 LLM 服务器。它基于 LiteRT-LM 运行时，支持在手机 CPU/GPU 上直接运行量化模型（如 .litertlm 格式），提供 HTTP 接口、多模型管理、流式响应、日志追踪及低功耗常驻服务。适用于离线环境下的边缘 AI 实验、个人隐私敏感的文本/多模态推理、旧设备再利用及本地开发调试等场景。