RWKV-Runner
josStorer
A RWKV management and startup tool, full automation, only 8MB. And provides an interface compatible with the OpenAI API. RWKV is a large language model that is fully open source and available for commercial use.
AI 简介
RWKV-Runner 是一个轻量级（仅8MB）的 RWKV 大语言模型管理与启动工具，支持全自动部署和本地运行。它提供完全兼容 OpenAI API 的接口，使现有 ChatGPT 客户端可无缝接入 RWKV 模型；内置 CUDA 加速支持，显著降低显存占用并提升推理速度；跨平台支持 Windows/macOS/Linux，无需 Python 环境即可运行。适用于个人开发者快速本地部署开源大模型、边缘设备轻量推理、以及需要 OpenAI 兼容 API 的私有化 LLM 服务场景。
TypeScript
MIT License6.4k
Stars
600
Forks
48
Watchers
167
Issues
Star 增长
今日0
近 7 天0
近 30 天+13
综合评分65.64
默认分支master