Маршрутизация промптов к подходящей модели с Jev

Может ли Jev выбирать, какая модель обработает промпт?

Да. TypeSafe называет маршрутизацию моделей среди примеров сценариев использования: собственный маршрутизатор, который выбирает, какая языковая модель получит каждый промпт. Схему показывает паттерн маршрутизации по намерению. Один вопрос Choice классифицирует входящий запрос, а обычный код отправляет каждый класс своему обработчику: запросу к базе данных, специализированной модели или сотруднику.

Jev не пишет ответ. Он принимает небольшое решение перед дорогим, чтобы рутинный промпт не занимал рассуждающую модель, а сложный не попадал к модели, которая с ним не справится.

Открыть редактируемый шаблон маршрутизации. В нём один вымышленный инженерный промпт и четыре обработчика. Загрузка создаёт черновик; проверка начинается только по вашему запросу.

Описывайте обработчики через их назначение

Названия моделей меняются, зоны ответственности живут дольше. Шаблон описывает каждое направление через работу, для которой оно подходит, а ваш код сопоставляет название варианта с той моделью, которая сейчас выполняет эту роль.

Меняйте один элемент и сравнивайте

1. Запустите шаблон и запишите выбранный обработчик и остальные вероятности.
2. Замените промпт на «В какие часы работает ваша поддержка?» и запустите проверку снова.
3. Попробуйте «Расторгните мой договор и верните плату за этот год». Заранее решите, разрешают ли ваши правила программе действовать по такому запросу.

Ожидаемый ответ заранее не задан, а несколько запусков не измеряют качество маршрутизации. Чтобы оценить маршрутизатор, разметьте несколько сотен реальных промптов обработчиком, которого выбрали бы вы сами, и сравните результаты, учитывая цену каждой ошибки.

Используйте confidence как запасной путь

В примере маршрутизации по намерению от TypeSafe код проверяет confidence ещё до того, как посмотрит на название класса: ниже минимального порога запрос уходит человеку, какой бы класс ни был выбран. Паттерн маршрутизации с порогом confidence добавляет, что этот порог должен зависеть от цены ошибки: низкий для безобидного действия и намного более высокий для действия, которое перемещает деньги. Подбирайте числа по собственным размеченным промптам; значения из документации иллюстрируют паттерн и не являются рекомендациями. Оба сигнала объясняет статья «Вероятность и confidence».

А как насчёт сокращения контекста?

Родственная идея — задавать по каждому предыдущему сообщению вопрос да/нет, например «это ещё нужно?», и отбрасывать остальное. Будьте осторожны. Один автор из сообщества сообщил 18 сентября 2026 года, что наивный фильтр релевантности на бенчмарке долгой памяти в лучшем случае не дал выигрыша, а в худшем привёл к большому падению. Это единичный эксперимент с одним методом фильтрации, известный только со слов автора, но предупреждение полезное: отброшенное сообщение дальше по цепочке уже не восстановить. Измерьте качество ответов с фильтром и без него, прежде чем на него полагаться.

Ошибки маршрутизации незаметны, потому что более слабая модель всё равно выдаёт гладкий текст. Записывайте каждое решение в журнал, просматривайте выборку и прочитайте, где проходят границы возможностей Jev.