JwumaEnvironnements de tâches agentiques, spécification des données pour les modèles utilisant des outils
· 3 min de lecture · expert data, specification
Cette traduction a été produite par une machine et n'a pas été vérifiée par un locuteur natif. En cas de doute, la version anglaise fait foi. Signalez-nous toute erreur et nous la corrigerons. English
Les données de tâches agentiques capturent des trajectoires complètes en plusieurs étapes où un modèle utilise des outils pour accomplir quelque chose, enregistrées de bout en bout avec l'état intermédiaire préservé. Les échantillons à un seul tour ne peuvent pas enseigner la récupération, donc les chemins d'échec doivent être conçus délibérément plutôt que collectés uniquement à partir de réussites.
En bref
- Les données agentiques capturent des trajectoires complètes, pas des tours individuels.
- L'état intermédiaire des appels d'outils doit être préservé pour être utile.
- Les chemins d'échec et de récupération doivent être conçus délibérément.
- Les spécifications des tâches doivent être versionnées avec les données.
- Un agent formé uniquement sur des réussites ne peut pas se remettre d'erreurs.
Un projet de ce type à cadrer ?
Nous préférons parler du problème plutôt que chiffrer un volume.
Voir nos prestationsPourquoi les échantillons à un seul tour ne suffisent-ils pas ?
Parce que les échecs qui comptent dans les systèmes agentiques sont cumulatifs. Le modèle appelle un outil, interprète mal le résultat, et tout ce qui suit est basé sur cette mauvaise interprétation. Aucun tour individuel dans cette séquence ne semble incorrect en soi.
S'entraîner ou évaluer sur des tours isolés mesure donc autre chose que ce qui vous intéresse. Vous avez besoin de toute la trajectoire, y compris l'état intermédiaire à chaque étape, pour voir où cela a réellement mal tourné.
Pourquoi les chemins d'échec doivent-ils être conçus ?
Parce que si vous ne collectez que des données de production, vous collectez majoritairement des réussites et des quasi-réussites, et les rares échecs authentiques sont non représentatifs et sous-échantillonnés.
Un agent qui n'a vu que des réussites n'a pas appris à se remettre. Concevoir délibérément les modes d'échec que vous attendez, y compris les délais d'outils, les réponses mal formées et les résultats intermédiaires plausibles mais incorrects, est le seul moyen de les couvrir à une densité utile.
Que doit préciser une spécification de tâche ?
La surface d'outil disponible, les critères de réussite, ce qui est considéré comme une récupération acceptable, et la latitude dont dispose l'agent pour s'écarter d'un chemin attendu. Sans ce dernier point, les annotateurs ne s'accordent pas sur le fait qu'un itinéraire inhabituel mais réussi est correct.
Versionnez la spécification avec les données. Les spécifications agentiques changent rapidement, et une trajectoire jugée selon un ancien critère de réussite n'est pas comparable à une jugée selon un nouveau à moins que la version ne soit enregistrée.
- Surface d'outil disponible
- Critères de réussite
- Ce qui est considéré comme une récupération acceptable
- Déviation permise par rapport au chemin attendu
- Version de la spécification estampillée sur chaque trajectoire
Autres questions
Qu'est-ce qu'un environnement de tâche agentique ?
Un cadre où un modèle accomplit une tâche en plusieurs étapes en utilisant des outils, avec la trajectoire complète enregistrée, y compris l'état intermédiaire, afin que le modèle puisse être formé ou évalué sur l'ensemble de la séquence plutôt que sur un seul tour.
Pourquoi concevoir délibérément les chemins d'échec ?
Parce que les données de production sont majoritairement des réussites. Un agent qui n'a jamais vu un délai d'outil ou une réponse mal formée n'a pas appris à s'en remettre.
Les spécifications des tâches doivent-elles être versionnées ?
Oui. Les spécifications agentiques changent rapidement, et une trajectoire jugée selon un ancien critère de réussite n'est pas comparable à une jugée selon un nouveau à moins que la version ne soit enregistrée.