orailnoor

cross-platform-llm-client

orailnoor

A unified cross-platform AI client supporting seamless transitions between standard cloud APIs and on-device, offline execution of custom and uncensored language models.

AI 简介

这是一个跨平台的本地优先AI聊天客户端,支持在Android设备上离线运行GGUF格式的开源大语言模型(含多模态视觉模型),同时可无缝切换至OpenAI、Anthropic等云API服务。核心特点包括:基于Vulkan的GPU加速本地推理、端到端本地数据存储(Hive)、图文混合对话、智能设备适配(自动配置上下文长度)、后台任务与推送通知支持。适用于注重隐私保护、需离线使用AI能力的个人用户及边缘计算场景,尤其适合中高端Android手机部署轻量级私有大模型应用。

C++
MIT License
655
Stars
134
Forks
10
Watchers
20
Issues

Star 增长

今日0
近 7 天0
近 30 天+37
综合评分54.09
默认分支main