エージェンティックタスク環境、ツール使用モデルのデータ指定

なぜ単一ターンサンプルでは不十分なのか？

エージェンティックシステムで重要な失敗は累積的だからです。モデルがツールを呼び出し、結果を誤読し、その後のすべてがその誤読に基づいて構築されます。そのシーケンスのどの単一ターンもそれ自体では間違っているようには見えません。

したがって、孤立したターンで訓練または評価することは、関心のあるものとは異なるものを測定します。実際にどこで間違ったのかを見るためには、各ステップでの中間状態を含む全体の軌跡が必要です。

なぜ失敗経路を意図的に作成する必要があるのか？

なぜなら、プロダクションからのみ収集すると、圧倒的に成功やほぼ成功のデータが集まり、まれな本当の失敗は代表的でなく、サンプル数も少ないからです。

うまくいくことしか見たことのないエージェントは、回復することを教えられていません。期待される失敗モード、ツールのタイムアウト、誤った応答、もっともらしいが間違った中間結果を意図的に作成することが、それらを有用な密度でカバーする唯一の方法です。

タスク仕様は何を明確にすべきか？

利用可能なツールの範囲、成功基準、許容される回復の定義、期待される経路からの逸脱の許容範囲です。最後のものがなければ、注釈者は異常だが成功したルートが正しいかどうかで意見が分かれます。

仕様をデータと共にバージョン管理します。エージェンティック仕様は急速に変化し、古い成功基準で判断された軌跡は、新しい基準で判断されたものと比較できません。

• 利用可能なツールの範囲
• 成功基準
• 許容される回復の定義
• 期待される経路からの逸脱の許容範囲
• 各軌跡に刻印された仕様バージョン

エージェンティックタスク環境とは何ですか？

モデルがツールを使用してマルチステップのタスクを完了する設定であり、全体の軌跡が中間状態を含めて記録され、モデルが単一ターンではなく全体のシーケンスで訓練または評価されることができます。

なぜ失敗経路を意図的に作成するのか？

プロダクションデータは圧倒的に成功した実行です。ツールのタイムアウトや誤った応答を見たことのないエージェントは、それから回復することを学んでいません。

タスク仕様はバージョン管理されるべきですか？

はい。エージェンティック仕様は急速に変化し、古い成功基準で判断された軌跡は、新しい基準で判断されたものと比較できません。