Jev でブラウザーエージェントの次の一手を選ぶ

Jev でブラウザーエージェントを動かせますか？

Jev 単体ではできません。Jev はクリックも入力もせず、画面も読みません。送られてきた state について、型の決まった質問に答えるだけです。そのためブラウザーエージェントでは、範囲の狭い一つの仕事を任せる候補になります。現在のページを説明するテキストと目標を受け取り、自分のコードがすでに実行方法を知っている短い候補リストから、次の一手を選ぶ仕事です。

TypeSafe の構築ガイドも同じ役割分担を説明しています。制御はコードが握り、モデルには範囲の狭い構造化された判断だけを渡します。エージェントのループ、ページの読み取り、クリック、リトライは、どれも通常のソフトウェアのままです。

編集可能な「次の一手」テンプレートを開く。架空の登録ページ、一つの質問、四つの選択肢が入っています。読み込むだけでは下書きができるだけで、実行を依頼するまでチェックは始まりません。

ページはスクリーンショットではなく state として記述する

テンプレートが送るのはプレーンテキストです。目標、ページのタイトル、画面に見えている要素とその現在の値を含みます。何を含めるかは、自分のページ読み取り処理が決めます。判断に不要なものは省いてください。パスワード、支払い情報、他人の個人情報を公開デモに送ってはいけません。

各選択肢は、エージェント内の一つの関数に対応します。Jev が関数を選び、どのフィールドが空かといった検証可能な引数は自分のコードが用意します。TypeSafe の関数呼び出しのクックブックも同じ方法を取っています。閉じた候補からの選択は質問にし、自由記述のテキスト、数値、日付はコード側で扱います。

一つだけ変えて比較する

1. テンプレートをそのまま実行し、選ばれた一手と他の確率を記録します。
2. ページの説明でメールアドレスの欄を入力済みに書き換え、もう一度実行します。どの一手が選ばれるはずか、実行前に決めておきます。
3. 欄は空のままにして、目標からメールアドレスを削除します。エージェントは入力する値を持たなくなるため、慎重な設計であれば人への確認が優先されるはずです。

正解は事前入力していません。また、一回の実行は測定ではありません。二つの選択肢が競り合い続ける場合は、人が迷わず当てはめられるようになるまで説明を書き直してください。重複するラベルの扱い方 も参照してください。

しきい値は影響の大きさで決める

TypeSafe の confidence に基づくルーティングのパターンでは、confidence を第二のシグナルとして使います。回答は何をするかを示し、confidence は実行してよいかを示します。公式の例では、リスクの低い操作はほどほどの confidence で受け入れ、送金の承認にはそれよりはるかに高い confidence を求めています。ここでも同じ考え方を当てはめます。ページの読み直しは低コストですが、フォームの送信、支払い、削除はそうではありません。しきい値はラベル付きの例をもとに自分で決め、その前に 確率と confidence の違い を読んでください。

コミュニティで試されていること

プロジェクトギャラリー には、判断のステップを Jev に移したコミュニティのブラウザーエージェント試作へのリンクがあります。速度に関する主張は作者自身によるもので、複数の要素を同時に変更しているため、Jev 単独の効果は切り分けられていません。こうした報告は試してみるアイデアとして扱ってください。そのうえで、自分のプロダクトのページ状態を少数集めたセットを作り、エージェントに実際のアカウントを操作させる前に、すべての一手を人の目で確認します。