JwumaAmbienti di compiti agentici, specificare dati per modelli che usano strumenti
· 3 min di lettura · expert data, specification
Questa traduzione è stata prodotta automaticamente e non è stata verificata da un madrelingua. In caso di dubbio, fa fede la versione inglese. Segnalaci eventuali errori e li correggeremo. English
I dati dei compiti agentici catturano traiettorie complete a più fasi in cui un modello utilizza strumenti per raggiungere un obiettivo, registrate dall'inizio alla fine con lo stato intermedio preservato. I campioni a turno singolo non possono insegnare il recupero, quindi i percorsi di fallimento devono essere creati deliberatamente piuttosto che raccolti solo da esecuzioni di successo.
In breve
- I dati agentici catturano traiettorie complete, non turni individuali.
- Lo stato intermedio delle chiamate agli strumenti deve essere preservato per essere utile.
- I percorsi di fallimento e recupero devono essere creati deliberatamente.
- Le specifiche dei compiti dovrebbero essere versionate insieme ai dati.
- Un agente addestrato solo su esecuzioni di successo non può recuperare dagli errori.
Stai definendo un progetto simile?
Preferiamo parlare del problema piuttosto che quotare un volume.
Vedi i serviziPerché i campioni a turno singolo non sono sufficienti?
Perché i fallimenti che contano nei sistemi agentici sono cumulativi. Il modello chiama uno strumento, interpreta male il risultato e tutto ciò che segue si basa su quell'interpretazione errata. Nessun singolo turno in quella sequenza sembra sbagliato da solo.
Addestrare o valutare su turni isolati misura quindi qualcosa di diverso da ciò che interessa. È necessaria l'intera traiettoria, incluso lo stato intermedio a ogni passo, per vedere dove effettivamente è andato storto.
Perché i percorsi di fallimento devono essere creati?
Perché se si raccolgono solo dati dalla produzione, si raccolgono in gran parte successi e quasi-successi, e i rari fallimenti genuini sono non rappresentativi e sotto-campionati.
Un agente che ha visto solo cose andare bene non è stato addestrato a recuperare. Creare deliberatamente le modalità di fallimento che ci si aspetta, inclusi timeout degli strumenti, risposte malformate e risultati intermedi plausibili ma errati, è l'unico modo per coprirli con una densità utile.
Cosa dovrebbe definire una specifica di compito?
La superficie degli strumenti disponibile, i criteri di successo, cosa conta come un recupero accettabile e quanta libertà ha l'agente di deviare da un percorso previsto. Senza quest'ultimo, gli annotatori non sono d'accordo su se un percorso insolito ma di successo sia corretto.
Versionare la specifica con i dati. Le specifiche agentiche cambiano rapidamente e una traiettoria giudicata secondo un vecchio criterio di successo non è comparabile a una giudicata secondo uno nuovo.
- Superficie degli strumenti disponibile
- Criteri di successo
- Cosa conta come recupero accettabile
- Deviazione permessa dal percorso previsto
- Versione della specifica stampata su ogni traiettoria
Altre domande
Cos'è un ambiente di compiti agentici?
Un contesto in cui un modello completa un compito a più fasi utilizzando strumenti, con l'intera traiettoria registrata inclusi gli stati intermedi, in modo che il modello possa essere addestrato o valutato sull'intera sequenza piuttosto che su un singolo turno.
Perché creare deliberatamente percorsi di fallimento?
Perché i dati di produzione sono in gran parte esecuzioni di successo. Un agente che non ha mai visto un timeout di uno strumento o una risposta malformata non ha imparato a recuperare da uno di essi.
Le specifiche dei compiti dovrebbero essere versionate?
Sì. Le specifiche agentiche cambiano rapidamente e una traiettoria giudicata secondo un vecchio criterio di successo non è comparabile a una giudicata secondo un nuovo criterio a meno che la versione non sia registrata.