JwumaO que realmente significa a proveniência de dados e como verificá-la
· 3 min de leitura · provenance, procurement
Esta tradução foi produzida por máquina e não foi verificada por um falante nativo. Em caso de dúvida, a versão em inglês é a original. Diga-nos se algo estiver errado e corrigiremos. English
Proveniência significa ser capaz de mostrar de onde veio cada item de um conjunto de dados, quem o produziu e sob que consentimento. A verdadeira proveniência são artefactos, não garantias: metadados de captura preservados, consentimento registado, atribuição de contribuidores por item e a versão do critério que produziu cada rótulo.
Em resumo
- A proveniência é por item, não por conjunto de dados.
- EXIF preservado é o principal sinal de proveniência para imagens capturadas.
- Registos de consentimento devem estar anexados aos itens, não mantidos como uma declaração geral.
- Cada rótulo deve conter a versão do critério que o produziu.
- Um fornecedor que não pode produzir proveniência por item está a afirmar, não a evidenciar.
Está a definir algo assim?
Preferimos falar do problema em vez de orçamentar por volume.
Ver capacidadesPor que a proveniência a nível de conjunto de dados não é suficiente?
Porque a pergunta que eventualmente será feita é sobre um item específico, não sobre o conjunto de dados. Quando um titular de direitos ou um regulador questiona uma imagem, uma declaração de que a coleção foi obtida eticamente não responde a nada.
Proveniência por item significa que cada linha pode ser rastreada até quem a produziu, quando, sob que consentimento e contra qual versão do critério. Essa é a única forma que resiste a um desafio.
Que artefactos realmente constituem a proveniência?
Para imagens capturadas: EXIF intacto mostrando o tempo de captura e o dispositivo, que é o que distingue a captura original de um ficheiro raspado. Para áudio: as condições de gravação e o registo de consentimento do orador. Para rótulos: o anotador, o carimbo de data/hora e a versão do critério aplicada.
Peça para ver estes para uma amostra de linhas específicas durante a avaliação. Um fornecedor que pode produzi-los para as linhas que você escolher tem verdadeira proveniência; um fornecedor que produz um documento de política não tem.
- Metadados de captura intactos em imagens
- Registos de consentimento por item onde aparecem pessoas
- Atribuição de contribuidores por item
- Versão do critério estampada em cada rótulo
- Carimbos de data/hora que sobrevivem à entrega
Por que os metadados de captura são destruídos com tanta frequência?
Porque a maioria dos pipelines de coleta encaminha imagens através de galerias, aplicativos de mensagens ou etapas de redimensionamento que removem ou reescrevem o EXIF. Quando o ficheiro chega ao comprador, a proveniência já se perdeu e não pode ser reconstruída.
É por isso que a captura no aplicativo importa operacionalmente em vez de ser apenas uma funcionalidade. Se o contribuidor fizer o upload a partir da sua galeria, os metadados já estão perdidos, independentemente do que o contrato diz.
O que o contrato deve exigir?
Que os artefactos de proveniência sejam entregues com os dados em vez de retidos pelo fornecedor, e que sobrevivam a qualquer conversão de formato no pipeline de entrega. Proveniência mantida no sistema interno de um fornecedor é proveniência que você perde quando a relação termina.
Exija também o direito de auditar uma amostra de linhas contra registos de origem e use-o pelo menos uma vez no início em vez de guardá-lo para uma disputa.
Outras perguntas
O que é a proveniência de dados em dados de treino de IA?
A capacidade de mostrar, para cada item, de onde veio, quem o produziu, sob que consentimento e contra qual padrão de rotulagem. É uma propriedade por item em vez de uma alegação a nível de conjunto de dados.
Como posso verificar as alegações de proveniência de um fornecedor?
Escolha linhas específicas durante a avaliação e peça os seus artefactos de proveniência: metadados de captura, registo de consentimento, atribuição de contribuidores e versão do critério. Um documento de política não é uma resposta.
Por que os metadados EXIF são importantes para conjuntos de dados de imagens?
Regista quando e em que dispositivo uma imagem foi capturada, que é a principal evidência que distingue a captura original de material raspado. A maioria dos pipelines remove-o, a menos que a captura ocorra no aplicativo.