
eager-tools
cloudthinker-ai
Eager tool dispatch for streaming LLM agents — dispatch tools the moment their JSON block seals, not after the message ends.
AI 简介
eager-tools 是一个用于流式大语言模型(LLM)智能体的即时工具调用库,支持在 JSON 工具块流式输出完成的瞬间立即触发对应工具执行,而非等待整个消息结束。其核心实现基于 eager tool calling 模式,通过将工具调用与 LLM 流式生成过程重叠,显著降低端到端延迟;提供生产级 Python API、基准测试框架及可复现性能验证。适用于对响应延迟敏感的实时交互场景,如客服对话机器人、运维事件自动处置、多步骤实时决策系统等需要低延迟工具协同的 LLM 智能体应用。
Python
MIT License45
Stars
4
Forks
42
Watchers
0
Issues
Star 增长
今日0
近 7 天0
近 30 天0
综合评分42.1
默认分支main