Jev で意味から検索する

Jev でキーワードではなく意味から検索できますか？

はい。ただし、範囲の決まったリストの中に限ります。TypeSafe の行単位の検索クックブックでは、文書の各行に ID を付け、ID 付きのテキストを state として送り、Choice の質問を一つ投げます。「この問い合わせに答えているのはどの行か」という質問です。回答にはすべての行の確率が含まれるため、コード側で順位を付けられます。同じ形は、短いテキスト行のリストであれば何にでも使えます。受信トレイの件名、シートの行、規約の条項などです。

編集可能な行検索テンプレートを開く。架空のショップ規約が 5 行と、答えとなる行とほとんど言葉が重ならない問い合わせが入っています。読み込むだけでは下書きができるだけで、実行を依頼するまでチェックは始まりません。

テンプレートに「答えている行はない」という選択肢がある理由

Choice の確率は、合計すると必ず 1 になります。そのため、文書のどこにも答えがない問い合わせでも、いずれかの行が一位になります。公式クックブックはこの問題に、同じリクエスト内でもう一つ、はい／いいえの質問を投げることで対処しています。「この問い合わせを扱っている行が一つでもあるか」という質問です。コードは順位を信頼する前に、まずその回答を読みます。

Playground では一度に一つの質問しかできないため、このテンプレートでは六つ目の選択肢「答えている行はない」を加え、同じ習慣を身につけられるようにしています。実際の組み込みでは、クックブックの二質問の形を優先してください。

一つだけ変えて比較する

1. テンプレートを実行し、L2 と L3 の確率を記録します。どちらも返品に関する行ですが、開封済みの箱を扱っているのは一方だけです。
2. 問い合わせを「配送には何日かかりますか？」に変え、もう一度実行します。
3. 「カナダへの発送はできますか？」のように、どの行も答えられないことを尋ね、最後の選択肢が選ばれるかを確認します。

正解は事前入力していません。創作した 5 行で三回実行しても、自分の文書での正解率については何も分かりません。

前提にしておくべき制約

• リストの大きさ。 クックブックによると、Choice の質問は最大 255 個の選択肢を受け付けるため、一つのリクエストで最大 255 行を扱えます。それより長い文書では、先に候補を絞り込む処理が必要です。当サイトのエディターで使える選択肢は 2–6 個で、これは当サイトの上限です。
• しきい値。 クックブックにある「答えあり」「部分的」「答えなし」の境界値は、クックブック自身の例を分けるためのもので、自分の文書に合わせて調整することが前提です。
• 検索の段階は依然として重要です。 TypeSafe の再ランキングのクックブックでは、まずキーワードで候補を絞り込み、その後で問い合わせと文章の組ごとに一つずつ質問します。Jev が判断したのは渡された候補であり、コーパス全体を検索したわけではありません。
• 事実は本文にあります。 順位は一つの行を指し示すものです。読者が検証できるよう、言い換えではなく行そのものを表示してください。

プロジェクトギャラリー には、コミュニティによる検索や再ランキングの実験が掲載されています。いずれも作者が報告した一回限りの比較であり、ベンチマークではありません。近い行どうしでシグナルが割れる場合は、確率と confidence の違い を読んでください。