JwumaAgentowe środowiska zadań, specyfikacja danych dla modeli używających narzędzi
· 2 min czytania · expert data, specification
To tłumaczenie zostało wykonane maszynowo i nie zostało sprawdzone przez native speakera. W razie wątpliwości obowiązuje wersja angielska. Napisz nam, jeśli coś brzmi błędnie, a poprawimy. English
Dane agentowych zadań rejestrują pełne trajektorie wieloetapowe, w których model używa narzędzi do osiągnięcia celu, zapisane od początku do końca z zachowaniem stanu pośredniego. Próbki jednowymiarowe nie uczą odzyskiwania, więc ścieżki błędów muszą być celowo tworzone, a nie zbierane tylko z udanych przebiegów.
W skrócie
- Dane agentowe rejestrują pełne trajektorie, a nie pojedyncze etapy.
- Stan pośredni wywołania narzędzia musi być zachowany, aby był użyteczny.
- Ścieżki błędów i odzyskiwania muszą być celowo tworzone.
- Specyfikacje zadań powinny być wersjonowane razem z danymi.
- Agent szkolony tylko na udanych przebiegach nie potrafi odzyskiwać się z błędów.
Planujesz podobny projekt?
Wolimy rozmawiać o problemie niż wyceniać sam wolumen.
Zobacz nasze możliwościDlaczego próbki jednowymiarowe nie wystarczają?
Ponieważ błędy, które mają znaczenie w systemach agentowych, są kumulatywne. Model wywołuje narzędzie, błędnie interpretuje wynik, a wszystko, co następuje potem, opiera się na tym błędnym odczycie. Żaden pojedynczy etap w tej sekwencji nie wygląda na błędny sam w sobie.
Szkolenie lub ocena na izolowanych etapach mierzy coś innego niż to, na czym ci zależy. Potrzebujesz całej trajektorii, w tym stanu pośredniego na każdym etapie, aby zobaczyć, gdzie faktycznie popełniono błąd.
Dlaczego ścieżki błędów muszą być tworzone?
Ponieważ jeśli zbierasz tylko z produkcji, w przeważającej mierze zbierasz sukcesy i prawie-sukcesy, a rzadkie prawdziwe błędy są niereprezentatywne i niedostatecznie próbkowane.
Agent, który widział tylko, że wszystko idzie dobrze, nie został nauczony, jak się odzyskiwać. Celowe tworzenie oczekiwanych trybów błędów, w tym timeoutów narzędzi, nieprawidłowych odpowiedzi i prawdopodobnych, ale błędnych wyników pośrednich, to jedyny sposób, aby je pokryć w użytecznej gęstości.
Co powinna określać specyfikacja zadania?
Dostępna powierzchnia narzędzia, kryteria sukcesu, co uznaje się za akceptowalne odzyskiwanie i jaką swobodę ma agent w odchyleniu od oczekiwanej ścieżki. Bez tego ostatniego, anotatorzy nie zgadzają się, czy nietypowa, ale udana trasa jest poprawna.
Wersjonuj specyfikację razem z danymi. Specyfikacje agentowe zmieniają się szybko, a trajektoria oceniana według starego kryterium sukcesu nie jest porównywalna z tą ocenianą według nowego, chyba że wersja jest zapisana.
- Dostępna powierzchnia narzędzia
- Kryteria sukcesu
- Co uznaje się za akceptowalne odzyskiwanie
- Dopuszczalne odchylenie od oczekiwanej ścieżki
- Wersja specyfikacji oznaczona na każdej trajektorii
Inne pytania
Czym jest agentowe środowisko zadania?
To środowisko, w którym model wykonuje wieloetapowe zadanie za pomocą narzędzi, z pełną trajektorią zapisaną, w tym stanem pośrednim, aby model mógł być szkolony lub oceniany na całej sekwencji, a nie na pojedynczym etapie.
Dlaczego celowo tworzyć ścieżki błędów?
Ponieważ dane produkcyjne to w przeważającej mierze udane przebiegi. Agent, który nigdy nie widział timeoutu narzędzia lub nieprawidłowej odpowiedzi, nie nauczył się, jak się z tego odzyskiwać.
Czy specyfikacje zadań powinny być wersjonowane?
Tak. Specyfikacje agentowe zmieniają się szybko, a trajektoria oceniana według starszego kryterium sukcesu nie jest porównywalna z tą ocenianą według nowszego, chyba że wersja jest zapisana.