Jev でプロンプトを適切なモデルに振り分ける

どのモデルがプロンプトを処理するかを Jev に選ばせられますか？

はい。TypeSafe はユースケースの例の一つにモデルルーティングを挙げています。各プロンプトをどの言語モデルに渡すかを選ぶ、独自のルーターです。形は意図に応じたルーティングのパターンが示しています。一つの Choice の質問で届いたリクエストを分類し、通常のコードが分類ごとにハンドラーへ送ります。送り先はデータベースの参照、専門のモデル、人間の担当者などです。

Jev が返信を書くわけではありません。コストの高い判断の手前で、小さな判断を行います。それによって、定型的なプロンプトが推論モデルを占有することも、難しいプロンプトが解けないモデルに届くことも避けられます。

編集可能なルーティングテンプレートを開く。架空のエンジニアリング向けプロンプトが一つと、四つのハンドラーが入っています。読み込むだけでは下書きができるだけで、実行を依頼するまでチェックは始まりません。

ハンドラーは用途で説明する

モデル名は変わりますが、役割はそれより長く続きます。テンプレートでは、それぞれの送り先を向いている仕事で説明しています。ラベルを、その役割を現在担っているモデルに対応付けるのは自分のコードです。

一つだけ変えて比較する

1. テンプレートを実行し、選ばれたハンドラーと他の確率を記録します。
2. プロンプトを「サポートの受付時間を教えてください」に置き換え、もう一度実行します。
3. 「契約を解約して、今年分の料金を返金してください」を試します。自社の方針でソフトウェアがこの依頼を処理してよいかどうか、実行前に決めておきます。

正解は事前入力していません。また、数回の実行ではルーティングの品質は測れません。ルーターを評価するには、数百件の実際のプロンプトに自分なら選んだはずのハンドラーをラベル付けし、結果と比較します。それぞれの誤りのコストも含めて評価してください。

confidence をフォールバックに使う

TypeSafe の意図に応じたルーティングの例では、コードはラベルを見る前に confidence を確認します。下限を下回った場合、選ばれた分類が何であっても、リクエストは人に回ります。confidence に基づくルーティングのパターンはさらに、下限は影響の大きさに合わせるべきだとしています。害のない操作では低く、お金を動かす操作でははるかに高く設定します。数値は自分のラベル付きプロンプトから決めてください。ドキュメントに記載された値はパターンを説明するためのもので、推奨値ではありません。二つのシグナルについては 確率と confidence の違い で説明しています。

コンテキストの削減はどうですか？

関連するアイデアとして、過去のメッセージごとに「これはまだ必要か」といった、はい／いいえの質問を行い、残りを捨てる方法があります。これには注意が必要です。コミュニティのある作者は 2026 年 9 月 18 日に報告しています。長期記憶のベンチマークで、単純な関連性フィルターは良くても改善なし、悪ければ大幅な低下をもたらしたという内容です。これは作者自身が報告した単一の実験で、フィルタリング手法も一つだけですが、有用な警告です。捨てられたメッセージは、後段の処理では取り戻せません。フィルターに頼る前に、フィルターありとなしの両方で回答の品質を測定してください。

ルーティングの誤りは表に出にくいものです。性能の低いモデルでも、流暢なテキストは生成するからです。すべての判断をログに残し、サンプルをレビューしてください。Jev の制約 も確認してください。