guidance-ai

guidance

guidance-ai

A guidance language for controlling large language models.

AI 简介

Guidance 是一个用于精确控制大语言模型(LLM)生成过程的轻量级编程框架。它通过嵌入式语法(如正则表达式、上下文无关文法)和 Python 原生控制结构(条件、循环、工具调用),实现输出格式约束、结构化生成与低延迟推理,无需微调即可保证语法正确性与确定性。支持多种后端(Transformers、llama.cpp、OpenAI API 等),适用于需要可靠结构化输出的场景,如 JSON Schema 生成、表单填充、API 响应规范、RAG 后处理及 LLM 编排流水线。

Jupyter Notebook
MIT License
21.6k
Stars
1.2k
Forks
119
Watchers
257
Issues

Star 增长

今日0
近 7 天0
近 30 天+94
综合评分78.62
默认分支main