Авторский вымышленный учебный пример. Результаты модели не заданы заранее.
Пример, который можно изменить
- 1 · Текст для проверки
- Исходный вопрос или запрос: Где скачать счёт и как изменить название компании на следующий месяц? Предлагаемый ответ: Скачайте счёт в разделе «Оплата → Счета». Для будущих счетов измените название компании в разделе «Оплата → Реквизиты» до следующей даты выставления счёта.
- 2 · Ваш вопрос
- Охватывает ли ответ все явно указанные части запроса?
- Когда подходит «Да»?
- На все явно заданные вопросы и просьбы есть ответ, включая прямое указание, когда ответа нет.
- Когда подходит «Нет»?
- Хотя бы один явно заданный вопрос или просьба остались без ответа.
Это вероятности модели, а не измеренная точность или гарантия. «Да» и «Нет» соответствуют вашим правилам; варианты сравниваются только в пределах заданного вами набора.
Две разные величины
Вероятность варианта относится к одному возможному исходу. Confidence у Choice обобщает форму всего распределения, а не просто переименовывает максимальную вероятность. У Noul есть вероятность да без отдельного поля confidence. Наш редактор показывает вероятности модели, а не независимо измеренную точность.
Высокое да не доказывает общую пригодность модели. В проверке обещаний оно отмечает возможную проблему, а в проверке полноты — предполагаемое выполнение условия.
Используйте упражнение с ответом
Загрузите шаблон полноты, прочитайте правила и заранее определите требования. Измените часть черновика и сравните предложения. Ожидаемые вероятности не заданы; изменение числа само по себе не означает улучшения.
Редактор не показывает отдельное поле confidence поставщика для Choice. Не называйте так одну из полос вероятности.
Ищите уверенные ошибки
Проверьте ответ, упоминающий все темы без ответа на вопросы, и другой, ясно отвечающий иными словами. Сосредоточенное распределение возможно при неверном понимании, неудачном вопросе или неполном контексте. Проверяйте ошибки даже при кажущейся определённости чисел.
Выбирайте пороги по данным
До автоматических действий соберите типичные примеры и оцените их без просмотра результата модели. Раздельно учитывайте ошибочные разрешения и ненужные передачи человеку. Выбирайте порог по цене ошибок и проверяйте на примерах, не использованных при настройке правил. Общего порога здесь нет. Функциональные проверки и отдельные результаты не доказывают калибровку или точность на бенчмарке.
Далее: Проверка полноты ответа с Jev.
Источники и дополнительные материалы
Руководство опирается на официальную документацию и сообщения сообщества по ссылкам. Авторы наблюдений сообщества указаны.
Как мы проверяем источники