データの出所が実際に意味することとその検証方法

なぜデータセットレベルの出所では不十分なのか？

最終的に問われるのは特定の項目についてであり、データセットではありません。権利者や規制当局が1つの画像について問い合わせた場合、コレクションが倫理的に調達されたという声明は何の答えにもなりません。

項目ごとの出所は、各行が誰によって、いつ、どのような同意の下で、どのルーブリックバージョンに基づいて作成されたかを追跡できることを意味します。それが唯一、異議に耐える形式です。

実際に出所を構成する証拠とは何か？

キャプチャされた画像の場合：キャプチャ時間とデバイスを示す完全なEXIF。これはオリジナルのキャプチャとスクレイピングされたファイルを区別します。音声の場合：録音条件と話者の同意記録。ラベルの場合：アノテーター、タイムスタンプ、適用された固定ルーブリックバージョン。

評価中に特定の行のサンプルについてこれらを確認するよう求めてください。選んだ行についてこれらを提示できるサプライヤーは本当の出所を持っていますが、方針文書を提示するサプライヤーは持っていません。

• 画像の完全なキャプチャメタデータ
• 人物が登場する場合の項目ごとの同意記録
• 項目ごとの貢献者の帰属
• すべてのラベルに刻印されたルーブリックバージョン
• 配信後も残るタイムスタンプ

なぜキャプチャメタデータはしばしば破壊されるのか？

ほとんどの収集パイプラインが画像をギャラリー、メッセージングアプリ、またはリサイズステップを通過させるため、EXIFが削除または書き換えられるからです。ファイルがバイヤーに届く頃には出所は失われ、再構築できません。

これが、アプリ内キャプチャが機能としてではなく運用上重要である理由です。貢献者がギャラリーからアップロードすると、契約内容に関係なくメタデータはすでに失われています。

契約で求めるべきことは何か？

出所の証拠がデータと共に提供され、サプライヤーによって保持されるのではなく、配信パイプラインでのフォーマット変換を経ても保持されることを要求します。サプライヤーの内部システムに保持されている出所は、関係が終了したときに失われる出所です。

また、ソース記録に対して行のサンプルを監査する権利を要求し、紛争のために保存するのではなく、少なくとも一度は早期に使用します。

AIトレーニングデータにおけるデータの出所とは何ですか？

各項目について、それがどこから来たのか、誰がそれを作成したのか、どのような同意の下で、どのラベリング基準に基づいて行われたのかを示す能力です。これはデータセットレベルの主張ではなく、項目単位の特性です。

サプライヤーの出所の主張をどのように確認できますか？

評価中に特定の行を選び、その出所の証拠を求めます。キャプチャメタデータ、同意記録、貢献者の帰属、ルーブリックバージョンです。方針文書は答えではありません。

画像データセットにおいてEXIFメタデータが重要な理由は何ですか？

画像がいつ、どのデバイスでキャプチャされたかを記録し、オリジナルのフィールドキャプチャとスクレイピングされた素材を区別する主要な証拠です。ほとんどのパイプラインは、アプリ内でキャプチャが行われない限り、それを削除します。