Независимое руководствоНезависимое руководство по Jev — модели TypeSafe AI
Сценарии

Найдите пропуски до отправки

Проверка полноты ответа с Jev

Попробуйте шаблон, который проверяет, отвечает ли черновик на все явно сформулированные части запроса.

Загрузить этот шаблон

Источники проверены Обновлено Версия материала 1

Характер доказательств Авторский вымышленный учебный пример. Результаты модели не заданы заранее.

Авторский вымышленный учебный пример. Результаты модели не заданы заранее.

Пример, который можно изменить

Загрузить этот шаблон
1 · Текст для проверки
Исходный вопрос или запрос: Где скачать счёт и как изменить название компании на следующий месяц? Предлагаемый ответ: Скачайте счёт в разделе «Оплата → Счета». Для будущих счетов измените название компании в разделе «Оплата → Реквизиты» до следующей даты выставления счёта.
2 · Ваш вопрос
Охватывает ли ответ все явно указанные части запроса?
Когда подходит «Да»?
На все явно заданные вопросы и просьбы есть ответ, включая прямое указание, когда ответа нет.
Когда подходит «Нет»?
Хотя бы один явно заданный вопрос или просьба остались без ответа.

Это вероятности модели, а не измеренная точность или гарантия. «Да» и «Нет» соответствуют вашим правилам; варианты сравниваются только в пределах заданного вами набора.

Задача

Дружелюбный ответ может пропустить половину запроса. Шаблон сопоставляет вымышленный запрос и черновик одним вопросом Noul о полноте. Он не проверяет все факты, не гарантирует решение и ничего не отправляет.

Это авторский учебный материал без ожидаемого результата. Здесь один вопрос, в отличие от сценария, отдельно проверяющего полноту, следующие шаги и новые обязательства.

Определите, что считается ответом

Чётко разделите запрос и черновик. Используйте тексты без чувствительных данных и заранее перечислите явные требования. Решите, считается ли честное признание отсутствия информации ответом, и зафиксируйте это в правилах.

Не требуйте незаявленного следующего шага. Фактический ответ может быть полным и без него. Если процесс требует конкретного действия, укажите это явно.

Используйте результат для проверки

Высокая вероятность да предполагает полноту по вашим правилам. Она не доказывает правильность, вежливость, наличие полномочий или готовность к отправке. Сравните тексты сами: сайт не связывается с адресатом и не выполняет предложенных действий.

Удалите часть ответа

Составьте запрос с двумя вопросами и уберите из черновика ответ на один из них. Проверьте также текст, который упоминает оба вопроса, но не отвечает ни на один. Заранее различите признание темы и содержательный ответ. Если модель упускает разницу, уточните критерии и сохраните ошибочный пример для последующих проверок. Независимая оценка качества этого упражнения не проводилась.

Далее: Вероятность и confidence в Jev: в чём разница.

Источники и дополнительные материалы

Руководство опирается на официальную документацию и сообщения сообщества по ссылкам. Авторы наблюдений сообщества указаны.

  1. TypeSafe: Noul
Как мы проверяем источники