Jwuma代理任务环境，指定工具使用模型的数据
· 1 分钟阅读 · expert data, specification
本译文由机器生成，未经母语者校对。如有不清楚之处，以英文原版为准。如发现错误请告知我们，我们会更正。 English
什么是代理任务数据，我如何委托它？
代理任务数据捕捉完整的多步骤轨迹，其中模型使用工具来完成某项任务，从头到尾记录并保留中间状态。单回合样本无法教授恢复，因此必须有意编写失败路径，而不仅仅从成功运行中收集。
要点摘要
- 代理数据捕捉完整轨迹，而不是单个回合。
- 中间工具调用状态必须保留才能有用。
- 失败和恢复路径需要有意编写。
- 任务规范应与数据一起版本化。
- 仅在成功运行上训练的代理无法从错误中恢复。
为什么单回合样本不够？
因为在代理系统中重要的失败是复合的。模型调用一个工具，误读结果，之后的一切都建立在误读之上。序列中的单个回合本身看起来并没有错。
因此，在孤立回合上进行训练或评估测量的是与您关心的不同的东西。您需要整个轨迹，包括每一步的中间状态，以查看实际出错的地方。
为什么必须有意编写失败路径？
因为如果您仅从生产中收集，您会大量收集成功和接近成功的案例，而罕见的真正失败是不具代表性且采样不足的。
一个只见过顺利运行的代理没有被教会如何恢复。有意编写您期望的失败模式，包括工具超时、格式错误的响应和看似合理但错误的中间结果，是以有用密度覆盖它们的唯一方法。
任务规范应该明确什么？
可用的工具界面、成功标准、什么算作可接受的恢复，以及代理偏离预期路径的自由度。如果没有最后一项，注释者会对不寻常但成功的路径是否正确产生分歧。
将规范与数据一起版本化。代理规范变化快，在旧成功标准下评判的轨迹与在新标准下评判的轨迹不可比。
- 可用的工具界面
- 成功标准
- 什么算作可接受的恢复
- 允许偏离预期路径的程度
- 每个轨迹上标记的规范版本
常见问题
其他问题
什么是代理任务环境？
一个模型使用工具完成多步骤任务的环境，完整轨迹记录包括中间状态，因此模型可以在整个序列而不是单个回合上进行训练或评估。
为什么要有意编写失败路径？
因为生产数据主要是成功运行。一个从未见过工具超时或格式错误响应的代理没有学会从中恢复。
任务规范应该版本化吗？
是的。代理规范变化快，在旧成功标准下评判的轨迹与在新标准下评判的轨迹不可比，除非记录了版本。