alexzhang13

spec-ptc

alexzhang13

Speculative programmatic tool calling (sPTC) for harnesses like RLM, CodeAct, etc.

AI 简介

sPTC(Speculative Programmatic Tool Calling)是一种面向工具调用型智能体框架的推测执行技术,用于在LLM流式生成代码块过程中提前识别并异步启动后续将执行的工具调用(如子LLM、API或函数调用),实现计算与生成过程的时间重叠。其核心特点是基于语法结构预测可安全推测的工具调用、维护轻量级影子REPL环境、支持同步/异步工具声明与纯函数标记,并通过钩子机制无缝集成到现有代码执行循环中。适用于Recursive Language Models(RLM)、CodeAct等依赖程序化工具调用(PTC)的智能体架构,尤其适合工具延迟高、调用链深、需降低端到端响应延迟的场景。

Python
MIT License
164
Stars
13
Forks
1
Watchers
0
Issues

Star 增长

今日0
近 7 天0
近 30 天0
综合评分43.44
默认分支main