Co właściwie oznacza pochodzenie danych i jak je zweryfikować

· 3 min czytania · provenance, procurement
To tłumaczenie zostało wykonane maszynowo i nie zostało sprawdzone przez native speakera. W razie wątpliwości obowiązuje wersja angielska. Napisz nam, jeśli coś brzmi błędnie, a poprawimy. English
Pochodzenie oznacza możliwość pokazania, skąd pochodzi każdy element w zbiorze danych, kto go stworzył i na jakiej podstawie zgody. Prawdziwe pochodzenie to artefakty, a nie zapewnienia: zachowane metadane z momentu uchwycenia, zarejestrowana zgoda, przypisanie wkładu do każdego elementu i wersja rubryki, która stworzyła każdą etykietę.
W skrócie
- Pochodzenie dotyczy każdego elementu, a nie całego zbioru danych.
- Zachowane EXIF to główny sygnał pochodzenia dla uchwyconych obrazów.
- Rekordy zgody powinny być przypisane do elementów, a nie przechowywane jako ogólne oświadczenie.
- Każda etykieta powinna zawierać wersję rubryki, która ją stworzyła.
- Dostawca, który nie może przedstawić pochodzenia dla każdego elementu, jedynie twierdzi, a nie dostarcza dowodów.
Planujesz podobny projekt?
Wolimy rozmawiać o problemie niż wyceniać sam wolumen.
Zobacz nasze możliwościDlaczego pochodzenie na poziomie zbioru danych nie wystarcza?
Ponieważ pytanie, które ostatecznie zostanie zadane, dotyczy konkretnego elementu, a nie zbioru danych. Gdy właściciel praw lub regulator zapyta o jeden obraz, stwierdzenie, że kolekcja została pozyskana etycznie, niczego nie wyjaśnia.
Pochodzenie dla każdego elementu oznacza, że każdy wiersz można prześledzić do tego, kto go stworzył, kiedy, na jakiej podstawie zgody i według której wersji rubryki. To jedyna forma, która przetrwa wyzwanie.
Jakie artefakty faktycznie stanowią pochodzenie?
Dla uchwyconych obrazów: nienaruszone EXIF pokazujące czas uchwycenia i urządzenie, co odróżnia oryginalne uchwycenie od pliku zeskrobanego. Dla mowy: warunki nagrywania i zapis zgody dla mówcy. Dla etykiet: anotator, znacznik czasu i zamrożona wersja rubryki zastosowana.
Poproś o pokazanie tych danych dla próbki konkretnych wierszy podczas oceny. Dostawca, który może je przedstawić dla wybranych przez Ciebie wierszy, ma prawdziwe pochodzenie; dostawca, który przedstawia dokument polityki, nie ma.
- Nienaruszone metadane uchwycenia na obrazach
- Rekordy zgody dla każdego elementu, gdzie pojawiają się ludzie
- Przypisanie wkładu do każdego elementu
- Wersja rubryki oznaczona na każdej etykiecie
- Znaczniki czasu, które przetrwają dostawę
Dlaczego metadane uchwycenia są tak często niszczone?
Ponieważ większość procesów zbierania przesyła obrazy przez galerie, aplikacje do przesyłania wiadomości lub kroki zmiany rozmiaru, które usuwają lub przepisują EXIF. Gdy plik dociera do nabywcy, pochodzenie jest już utracone i nie można go odtworzyć.
Dlatego uchwycenie w aplikacji ma znaczenie operacyjne, a nie tylko jako funkcja. Jeśli uczestnik przesyła z galerii, metadane są już utracone, niezależnie od tego, co mówi umowa.
Co powinno być wymagane w umowie?
Że artefakty pochodzenia są dostarczane z danymi, a nie przechowywane przez dostawcę, i że przetrwają każdą konwersję formatu w procesie dostawy. Pochodzenie przechowywane w wewnętrznym systemie dostawcy to pochodzenie, które tracisz, gdy relacja się kończy.
Również wymagać prawa do audytu próbki wierszy w porównaniu z rekordami źródłowymi i użyć go przynajmniej raz na początku, zamiast oszczędzać na spór.
Inne pytania
Co to jest pochodzenie danych w danych szkoleniowych AI?
Możliwość pokazania, dla każdego elementu, skąd pochodzi, kto go stworzył, na jakiej podstawie zgody i według którego standardu etykietowania. Jest to właściwość każdego elementu, a nie twierdzenie na poziomie zbioru danych.
Jak mogę sprawdzić twierdzenia dostawcy o pochodzeniu?
Wybierz konkretne wiersze podczas oceny i poproś o ich artefakty pochodzenia: metadane uchwycenia, zapis zgody, przypisanie wkładu i wersję rubryki. Dokument polityki nie jest odpowiedzią.
Dlaczego metadane EXIF są ważne dla zbiorów danych obrazów?
Rejestrują, kiedy i na jakim urządzeniu obraz został uchwycony, co jest głównym dowodem odróżniającym oryginalne uchwycenie w terenie od materiału zeskrobanego. Większość procesów usuwa je, chyba że uchwycenie następuje w aplikacji.