
GenieX
qualcomm
Run frontier LLMs and VLMs locally on Qualcomm devices across NPU, GPU, and CPU with a few lines of code
AI 简介
GenieX 是一个面向高通设备的端侧生成式AI推理运行时,支持在 Snapdragon 平台的 Hexagon NPU、Adreno GPU 和 CPU 上本地高效运行前沿大语言模型(LLM)与多模态大模型(VLM)。其核心特点是统一 C SDK 底层,提供 CLI、Python、Kotlin/Java、Docker 及 OpenAI 兼容 API 多种调用方式,并兼容 GGUF 模型格式及 Qualcomm AI Hub 预编译模型包。适用于边缘计算、移动终端、IoT 设备等对低延迟、离线隐私和异构硬件加速有要求的端侧 AI 推理场景。
Rust
BSD 3-Clause "New" or "Revised" License8.3k
Stars
1k
Forks
529
Watchers
23
Issues
Star 增长
今日0
近 7 天0
近 30 天+115
综合评分75.05
默认分支main