JwumaDonnées pour la robotique et l'IA incarnée, où l'annotation LiDAR échoue
· 3 min de lecture · specification, robotics
Cette traduction a été produite par une machine et n'a pas été vérifiée par un locuteur natif. En cas de doute, la version anglaise fait foi. Signalez-nous toute erreur et nous la corrigerons. English
L'annotation robotique couvre les nuages de points, la profondeur et le mouvement à travers les séquences. La cohérence entre les images est plus importante que la précision par image, car un objet étiqueté légèrement différemment d'une image à l'autre apprend à un modèle que le monde scintille. Spécifiez explicitement les exigences de cohérence, car le QA par image ne détectera pas cela.
En bref
- La cohérence entre les images est la dimension de qualité dominante.
- Les vérifications de précision par image ne détectent pas la dérive entre les images.
- Les conventions de gestion de l'occlusion doivent être fixées avant le début de l'annotation.
- Les erreurs de calibration des capteurs sont facilement confondues avec des erreurs d'annotation.
- Une révision au niveau de la séquence est requise, pas seulement un échantillonnage d'images.
Un projet de ce type à cadrer ?
Nous préférons parler du problème plutôt que chiffrer un volume.
Voir nos prestationsPourquoi la cohérence entre les images domine-t-elle ?
Parce que le modèle apprend que les objets persistent. Si le même véhicule est encadré légèrement différemment sur des images consécutives, le signal d'entraînement indique que le véhicule a changé de forme, et le comportement de suivi se dégrade de manière que les métriques par image ne montrent pas.
Chaque image individuelle peut être dans la tolérance alors que la séquence dans son ensemble est inutilisable. C'est l'échec caractéristique des ensembles de données robotiques annotés avec des habitudes d'annotation d'image.
Comment le QA devrait-il différer de l'annotation d'image ?
Révisez les séquences, pas les images échantillonnées. Un échantillon d'images aléatoire est presque aveugle à la dérive, car la dérive est une propriété de la relation entre les images plutôt que de l'une d'elles.
Demandez spécifiquement comment votre fournisseur révise les séquences et quelle est leur métrique de cohérence. Si la réponse est la précision par image, ils mesurent la mauvaise chose.
- Révision au niveau de la séquence, pas échantillonnage d'images
- Une métrique explicite de cohérence entre les images
- Conventions d'entrée et de sortie d'occlusion
- Gestion des objets quittant et réentrant dans la scène
Quelles conventions doivent être fixées à l'avance ?
L'occlusion, principalement. Que se passe-t-il lorsqu'un objet est partiellement caché, complètement caché pendant plusieurs images, puis réapparaît. Si la boîte est interpolée à travers l'occlusion ou abandonnée et une nouvelle piste commencée.
Les deux réponses sont défendables. Une réponse non spécifiée signifie que différents annotateurs choisissent différemment au sein d'un même ensemble de données, ce qui est pire que l'un ou l'autre choix.
Comment séparer les erreurs de capteur des erreurs d'annotation ?
En vérifiant la calibration avant de blâmer les annotateurs. Une mauvaise calibration entre les capteurs produit des erreurs d'annotation apparentes qui sont en fait des annotations correctes de données mal alignées.
Un fournisseur qui ne peut pas distinguer les deux continuera à réannoter des données qui n'ont jamais été le problème, et vous facturera pour cela.
Autres questions
Qu'est-ce qui compte le plus dans la qualité de l'annotation LiDAR ?
La cohérence entre les images. Un objet étiqueté légèrement différemment entre des images consécutives apprend au modèle que les objets changent de forme, et les métriques de précision par image ne le détectent pas.
Comment l'annotation robotique doit-elle être vérifiée en termes de qualité ?
En révisant des séquences entières plutôt qu'en échantillonnant des images individuelles, avec une métrique explicite de cohérence entre les images. L'échantillonnage d'images est presque aveugle à la dérive.
Comment distinguer les erreurs de calibration des capteurs des erreurs d'annotation ?
Vérifiez d'abord la calibration. Une mauvaise calibration produit ce qui ressemble à des erreurs d'annotation mais sont des annotations correctes de données mal alignées, et réannoter ne le corrigera pas.