openvino.genai

OpenVINO GenAI 是一个面向本地部署的生成式AI推理库，提供简洁的C++/Python API，支持在CPU、集成显卡及独立显卡（如Intel Arc）上高效运行主流大语言模型。其核心功能包括内置Tokenizer、模型量化（INT4/INT8）、KV缓存优化、动态批处理及OpenVINO IR格式模型原生支持，无需依赖Hugging Face Transformers等外部框架。适用于边缘设备、笔记本电脑及私有化AI应用等对延迟、内存和功耗敏感的轻量级生成式AI场景。