
agentic-api
vllm-project
Stateful API logic for agentic applications using vLLM
AI 简介
Agentic API 是一个基于 Rust 构建的有状态服务层,为 vLLM 推理引擎提供面向智能体(agentic)应用的后端支持。它封装了多轮对话状态管理、工具调用循环、响应持久化(SQLite)、流式传输(SSE/WebSocket)及 OpenAI 兼容的 Responses API,使客户端可通过单次请求触发完整工具增强型推理流程。项目专为需长期上下文维护、自主工具执行与服务端编排能力的 AI 应用场景设计,如本地部署的 AI 助手、自动化工作流引擎和开源 Codex 替代方案。
Rust
198
Stars
56
Forks
0
Watchers
0
Issues
Star 增长
今日0
近 7 天0
近 30 天0
综合评分42.27
默认分支main