{/* This page is auto-generated from the skill's SKILL.md by website/scripts/generate-skill-docs.py. Edit the source SKILL.md, not this page. */}

Guidance

使用正则表达式和语法控制 LLM 输出，保证生成有效的 JSON/XML/代码，强制结构化格式，并使用 Guidance（微软研究院的约束生成框架）构建多步骤工作流

Skill 元数据


来源	可选 — 通过 `hermes skills install official/mlops/guidance` 安装
路径	`optional-skills/mlops/guidance`
版本	`1.0.0`
作者	Orchestra Research
许可证	MIT
依赖项	`guidance`, `transformers`
平台	linux, macos, windows
标签	`Prompt Engineering`, `Guidance`, `Constrained Generation`, `Structured Output`, `JSON Validation`, `Grammar`, `Microsoft Research`, `Format Enforcement`, `Multi-Step Workflows`

参考：完整 SKILL.md

信息

以下是 Hermes 在触发此 skill 时加载的完整 skill 定义。这是 agent 在 skill 激活时看到的指令内容。

Guidance：约束 LLM 生成

何时使用此 Skill

在以下情况下使用 Guidance：

使用正则表达式或语法控制 LLM 输出语法

保证生成有效的 JSON/XML/代码

相比传统 prompting（提示词）方式降低延迟

强制结构化格式（日期、邮箱、ID 等）

使用 Python 风格的控制流构建多步骤工作流

通过语法约束防止无效输出

GitHub Stars：18,000+ | 来自：微软研究院

安装

快速开始

基础示例：结构化生成

使用 Anthropic Claude

核心概念

1. 上下文管理器

Guidance 使用 Python 风格的上下文管理器实现对话式交互。

优势：

自然的对话流程

清晰的角色分离

易于阅读和维护

2. 约束生成

Guidance 使用正则表达式或语法确保输出符合指定模式。

正则表达式约束

工作原理：

正则表达式在 token（词元）级别转换为语法

生成过程中过滤无效 token

模型只能生成符合匹配条件的输出

选择约束

3. Token 修复（Token Healing）

Guidance 自动"修复" prompt 与生成内容之间的 token 边界。

问题： 分词会产生不自然的边界。

解决方案： Guidance 回退一个 token 并重新生成。

优势：

自然的文本边界

无尴尬的间距问题

更好的模型性能（模型看到自然的 token 序列）

4. 基于语法的生成

使用上下文无关语法定义复杂结构。

使用场景：

复杂结构化输出

嵌套数据结构

编程语言语法

领域特定语言

5. Guidance 函数

使用 @guidance 装饰器创建可复用的生成模式。

有状态函数：

后端配置

Anthropic Claude

OpenAI

本地模型（Transformers）

本地模型（llama.cpp）

常用模式

模式 1：JSON 生成

模式 2：分类

模式 3：多步骤推理

模式 4：ReAct Agent

模式 5：数据提取

最佳实践

1. 使用正则表达式进行格式验证

2. 对固定类别使用 select()

3. 利用 Token 修复

4. 使用停止序列

5. 创建可复用函数

6. 平衡约束力度

与替代方案的对比

特性	Guidance	Instructor	Outlines	LMQL
正则表达式约束	✅ 支持	❌ 不支持	✅ 支持	✅ 支持
语法支持	✅ CFG	❌ 不支持	✅ CFG	✅ CFG
Pydantic 验证	❌ 不支持	✅ 支持	✅ 支持	❌ 不支持
Token 修复	✅ 支持	❌ 不支持	✅ 支持	❌ 不支持
本地模型	✅ 支持	⚠️ 有限	✅ 支持	✅ 支持
API 模型	✅ 支持	✅ 支持	⚠️ 有限	✅ 支持
Python 风格语法	✅ 支持	✅ 支持	✅ 支持	❌ 类 SQL
学习曲线	低	低	中	高

何时选择 Guidance：

需要正则表达式/语法约束

需要 token 修复

构建带控制流的复杂工作流

使用本地模型（Transformers、llama.cpp）

偏好 Python 风格语法

何时选择替代方案：

Instructor：需要带自动重试的 Pydantic 验证

Outlines：需要 JSON schema 验证

LMQL：偏好声明式查询语法

性能特性

延迟降低：

对于约束输出，比传统 prompting 快 30–50%

Token 修复减少不必要的重新生成

语法约束防止无效 token 的生成

内存占用：

相比无约束生成，额外开销极小

语法编译结果在首次使用后缓存

推理时高效过滤 token

Token 效率：

防止在无效输出上浪费 token

无需重试循环

直接生成有效输出

资源

文档：https://guidance.readthedocs.io

GitHub：https://github.com/guidance-ai/guidance（18k+ stars）

Notebooks：https://github.com/guidance-ai/guidance/tree/main/notebooks

Discord：提供社区支持

另请参阅

references/constraints.md — 全面的正则表达式和语法模式

references/backends.md — 后端专项配置

references/examples.md — 生产就绪示例

"Guidance"

Guidance#

Skill 元数据#

参考：完整 SKILL.md#

Guidance：约束 LLM 生成#

何时使用此 Skill#

安装#

快速开始#

基础示例：结构化生成#

使用 Anthropic Claude#

核心概念#

1. 上下文管理器#

2. 约束生成#

正则表达式约束#

选择约束#

3. Token 修复（Token Healing）#

4. 基于语法的生成#

5. Guidance 函数#

后端配置#

Anthropic Claude#

OpenAI#

本地模型（Transformers）#

本地模型（llama.cpp）#

常用模式#

模式 1：JSON 生成#

模式 2：分类#

模式 3：多步骤推理#

模式 4：ReAct Agent#

模式 5：数据提取#

最佳实践#

1. 使用正则表达式进行格式验证#

2. 对固定类别使用 select()#

3. 利用 Token 修复#

4. 使用停止序列#

5. 创建可复用函数#

6. 平衡约束力度#

与替代方案的对比#

性能特性#

资源#

另请参阅#

Guidance

Skill 元数据

参考：完整 SKILL.md

Guidance：约束 LLM 生成

何时使用此 Skill

安装

快速开始

基础示例：结构化生成

使用 Anthropic Claude

核心概念

1. 上下文管理器

2. 约束生成

正则表达式约束

选择约束

3. Token 修复（Token Healing）

4. 基于语法的生成

5. Guidance 函数

后端配置

Anthropic Claude

OpenAI

本地模型（Transformers）

本地模型（llama.cpp）

常用模式

模式 1：JSON 生成

模式 2：分类

模式 3：多步骤推理

模式 4：ReAct Agent

模式 5：数据提取

最佳实践

1. 使用正则表达式进行格式验证

2. 对固定类别使用 select()

3. 利用 Token 修复

4. 使用停止序列

5. 创建可复用函数

6. 平衡约束力度

与替代方案的对比

性能特性

资源

另请参阅