独自に作成した架空の学習例です。モデルの結果は事前入力されていません。
編集できる出発点
- 1 · 判定する文章
- 元の質問や依頼: 請求書はどこからダウンロードできますか？ また、来月分の会社名はどうすれば変更できますか？ 送信前の返信案: 「請求 → 請求書」からダウンロードできます。今後の請求書の会社名は、次の請求日までに「請求 → 詳細」の「会社名」を更新してください。
- 2 · 質問
- 依頼で明確に挙げられたすべての点に答えていますか？
- 「はい」に当てはまる条件
- 明示された質問や依頼すべてに応じている。回答できない場合は、その旨を明確に述べている。
- 「いいえ」に当てはまる条件
- 明示された質問や依頼のうち、少なくとも一つに応じていない。
表示値はモデルの判断確率であり、実測正解率や保証ではありません。「はい／いいえ」は設定した基準に対応し、選択肢の確率は指定した選択肢内で比較されます。
異なる二つの量
選択肢の確率は一つの結果に対応します。Choice の confidence は分布全体の形をまとめたもので、最大の確率の別名ではありません。Noul には Yes の確率があり、別の confidence フィールドはありません。この編集画面が示すのはモデルの確率で、独立して測った正解率ではありません。
高い Yes は、タスク全般が得意という意味ではありません。約束の検出なら問題の可能性を示し、網羅性の確認なら条件を満たすと判断したことを示します。
返信の練習を使う
返信の網羅性テンプレートを読み込み、ルールと要求を先に確認します。返信の一部だけを変え、提案を比較してください。期待する確率は設定されておらず、数値の変化だけで改善は証明できません。
編集画面では公式の Choice confidence を別項目として表示していません。確率の棒を confidence と呼び替えないでください。
確信しているように見える誤りを探す
話題をすべて挙げるだけで答えていない返信と、違う言葉でも明確に答える返信を試します。分布の集中は、誤解、不適切な質問、文脈不足でも起こり得ます。数値が明確でも失敗例を確認してください。
根拠を持ってしきい値を決める
自動処理の前に代表的な例を集め、モデル結果を見ずに判定します。誤った許可と不要な引き継ぎを分けて記録し、誤りの影響に応じて境界を選びます。調整に使わなかった例で確認してください。普遍的なしきい値は推奨しません。機能確認や個別の結果は、校正や全体の正解率を証明するものではありません。
続けて読む：返信が依頼を満たしているか Jev で確認する
出典と関連資料
このガイドは、公式ドキュメントとリンク先のコミュニティ報告に基づいています。コミュニティの観察には、その報告者を明示しています。
出典の確認方法