JwumaAgentische Aufgabenumgebungen, Spezifikation von Daten für werkzeugnutzende Modelle
· 2 Min. Lesezeit · expert data, specification
Diese Übersetzung wurde maschinell erstellt und nicht von einem Muttersprachler geprüft. Im Zweifelsfall gilt die englische Fassung. Sagen Sie uns Bescheid, wenn etwas falsch klingt, und wir korrigieren es. English
Agentische Aufgabendaten erfassen vollständige mehrstufige Verläufe, bei denen ein Modell Werkzeuge verwendet, um etwas zu erreichen, von Anfang bis Ende aufgezeichnet mit Erhalt des Zwischenzustands. Einzelproben können keine Wiederherstellung lehren, daher müssen Fehlerpfade gezielt erstellt werden, anstatt sie nur aus erfolgreichen Durchläufen zu sammeln.
Kurz gefasst
- Agentische Daten erfassen vollständige Verläufe, nicht einzelne Schritte.
- Der Zwischenzustand bei Werkzeugaufrufen muss erhalten bleiben, um nützlich zu sein.
- Fehler- und Wiederherstellungspfade müssen gezielt erstellt werden.
- Aufgabenspezifikationen sollten zusammen mit den Daten versioniert werden.
- Ein Agent, der nur auf erfolgreiche Durchläufe trainiert wurde, kann sich nicht von Fehlern erholen.
Planen Sie etwas Ähnliches?
Wir sprechen lieber über das Problem als über eine Mengenangabe.
Leistungen ansehenWarum reichen Einzelproben nicht aus?
Weil die Fehler, die in agentischen Systemen wichtig sind, sich summieren. Das Modell ruft ein Werkzeug auf, liest das Ergebnis falsch und alles danach basiert auf diesem Missverständnis. Kein einzelner Schritt in dieser Sequenz sieht für sich genommen falsch aus.
Training oder Bewertung auf isolierten Schritten misst daher etwas anderes als das, worauf es ankommt. Sie benötigen den gesamten Verlauf, einschließlich des Zwischenzustands bei jedem Schritt, um zu sehen, wo es tatsächlich schiefgelaufen ist.
Warum müssen Fehlerpfade erstellt werden?
Weil man, wenn man nur aus der Produktion sammelt, überwiegend Erfolge und Beinahe-Erfolge sammelt, und die seltenen echten Fehler sind unrepräsentativ und unterrepräsentiert.
Ein Agent, der nur gesehen hat, dass alles gut läuft, hat nicht gelernt, sich zu erholen. Die gezielte Erstellung der erwarteten Fehlermodi, einschließlich Werkzeug-Timeouts, fehlerhaften Antworten und plausiblen, aber falschen Zwischenresultaten, ist der einzige Weg, um sie in nützlicher Dichte abzudecken.
Was sollte eine Aufgabenspezifikation festlegen?
Die verfügbare Werkzeugoberfläche, die Erfolgskriterien, was als akzeptable Wiederherstellung zählt und wie viel Spielraum der Agent hat, um vom erwarteten Pfad abzuweichen. Ohne Letzteres sind sich die Annotatoren uneinig, ob ein ungewöhnlicher, aber erfolgreicher Weg korrekt ist.
Versionieren Sie die Spezifikation mit den Daten. Agentische Spezifikationen ändern sich schnell, und ein Verlauf, der nach einem alten Erfolgskriterium beurteilt wird, ist nicht mit einem vergleichbar, der nach einem neuen beurteilt wird.
- Verfügbare Werkzeugoberfläche
- Erfolgskriterien
- Was als akzeptable Wiederherstellung zählt
- Erlaubte Abweichung vom erwarteten Pfad
- Versionsstempel der Spezifikation auf jedem Verlauf
Weitere Fragen
Was ist eine agentische Aufgabenumgebung?
Eine Umgebung, in der ein Modell eine mehrstufige Aufgabe mit Werkzeugen abschließt, wobei der gesamte Verlauf einschließlich des Zwischenzustands aufgezeichnet wird, sodass das Modell auf der gesamten Sequenz anstatt auf einem einzelnen Schritt trainiert oder bewertet werden kann.
Warum Fehlerpfade gezielt erstellen?
Weil Produktionsdaten überwiegend erfolgreiche Durchläufe sind. Ein Agent, der noch nie ein Werkzeug-Timeout oder eine fehlerhafte Antwort gesehen hat, hat nicht gelernt, sich davon zu erholen.
Sollten Aufgabenspezifikationen versioniert werden?
Ja. Agentische Spezifikationen ändern sich schnell, und ein Verlauf, der nach einem älteren Erfolgskriterium beurteilt wird, ist nicht mit einem vergleichbar, der nach einem neueren beurteilt wird, es sei denn, die Version wird aufgezeichnet.