
guidance
guidance-ai
A guidance language for controlling large language models.
AI 简介
Guidance 是一个用于精确控制大语言模型(LLM)生成过程的轻量级编程框架。它通过嵌入式语法(如正则表达式、上下文无关文法)和 Python 原生控制结构(条件、循环、工具调用),实现输出格式约束、结构化生成与低延迟推理,无需微调即可保证语法正确性与确定性。支持多种后端(Transformers、llama.cpp、OpenAI API 等),适用于需要可靠结构化输出的场景,如 JSON Schema 生成、表单填充、API 响应规范、RAG 后处理及 LLM 编排流水线。
Jupyter Notebook
MIT License21.6k
Stars
1.2k
Forks
119
Watchers
257
Issues
Star 增长
今日0
近 7 天0
近 30 天+94
综合评分78.62
默认分支main