原创虚构教学示例,未预填模型结果。
可编辑的起点
- 1 · 要检查的材料
- 原始问题或请求: 在哪里可以下载发票?下个月的公司名称要怎么修改? 拟发送的回复: 在「账单 → 发票」中下载发票。若要修改后续发票的公司名称,请在下次账单日期前,到「账单 → 详细信息」中更新「公司名称」。
- 2 · 你想问的问题
- 回复是否回应了请求中明确提出的所有事项?
- 什么情况下算“是”?
- 每个明确的问题或请求都有回应,包括明确说明暂时无法回答。
- 什么情况下算“否”?
- 至少有一个明确的问题或请求没有得到回应。
这些是模型判断的概率,不是实测准确率或保证。“是/否”对应你写的标准,选项概率只在你提供的选项内比较。
要解决什么任务
回复听起来很热情,也可能漏掉一半问题。这个方案将虚构请求与回复草稿一起输入,只问一个 Noul 问题:回复是否覆盖明确提出的要求?它不核验全部事实、不保证方案有效,也不会发送消息。
模板是本站原创教学材料,没有预设结果。它载入一个自定义问题,与场景演示中分别检查覆盖情况、下一步和新增承诺的多问题方案不同。
明确什么算作回应
在材料中清楚分开原请求与回复草稿,替换为不含敏感信息的内容。运行前先列出请求中的明确要求。决定“坦诚说明暂时没有信息”是否算作回应,并把这个标准写进规则。
不要悄悄增加原请求没有要求的后续动作。事实性答复可能不需要下一步。如果业务流程要求特定动作,应当把要求写明。
把结果用于复核
Yes 概率较高,表示模型认为回复符合你定义的覆盖条件,不证明回复准确、礼貌、获得授权或适合直接发送。对照原请求与草稿检查;本站不会联系收件人,也不会执行草稿里的动作。
故意删掉一项回答
构造一个包含两个独立问题的请求,再从草稿中删掉其中一个答案。也可以试试同时提到两个问题、却都没有回答的回复。先决定“提到了”和“回答了”如何区分。如果模型没有区分出来,修改标准,并保留这个失败例子供后续检查。
设置自动处理阈值前,先阅读概率与置信度的区别。这个练习没有经过独立的回复质量评测。
来源与延伸阅读
本指南依据官方文档和所链接的社区报告编写。社区观察均注明原作者。
我们如何核查来源