qualcomm

nexa-sdk

qualcomm

Run frontier LLMs and VLMs with day-0 model support across GPU, NPU, and CPU, with comprehensive runtime coverage for PC (Python/C++), mobile (Android & iOS), and Linux/IoT (Arm64 & x86 Docker). Supporting OpenAI GPT-OSS, IBM Granite-4, Qwen-3-VL, Gemma-3n, Ministral-3, and more.

AI 简介

NexaSDK 是一个面向端侧部署的高性能本地AI推理SDK,支持在GPU、NPU和CPU上运行前沿大语言模型(LLM)与多模态大模型(VLM),覆盖PC(Python/C++)、移动端(Android/iOS)及Linux/IoT(Arm64/x86 Docker)全平台。其核心特点是提供开箱即用的Day-0模型支持、跨硬件统一运行时、低功耗优化,已率先适配Qwen3-VL、Gemma-3n、Granite-4、Ministral-3等主流开源模型。适用于对隐私敏感、低延迟或离线运行有要求的终端智能场景,如智能手机AI助手、边缘设备视觉理解、车载多模态交互等。

Rust
8.1k
Stars
1k
Forks
526
Watchers
49
Issues

Star 增长

今日0
近 7 天0
近 30 天0
综合评分62.01
默认分支main