JwumaDati per robotica e AI incorporata, dove l'annotazione LiDAR fallisce
· 3 min di lettura · specification, robotics
Questa traduzione è stata prodotta automaticamente e non è stata verificata da un madrelingua. In caso di dubbio, fa fede la versione inglese. Segnalaci eventuali errori e li correggeremo. English
L'annotazione robotica copre nuvole di punti, profondità e movimento attraverso sequenze. La coerenza tra i frame è più importante dell'accuratezza per frame, perché un oggetto etichettato leggermente diverso da un frame all'altro insegna a un modello che il mondo sfarfalla. Specificare esplicitamente i requisiti di coerenza, perché il QA per frame non rileverà questo.
In breve
- La coerenza tra i frame è la dimensione di qualità dominante.
- I controlli di accuratezza per frame non rilevano la deriva tra i frame.
- Le convenzioni di gestione delle occlusioni devono essere fissate prima che inizi l'annotazione.
- Gli errori di calibrazione dei sensori sono facilmente scambiati per errori di annotazione.
- È necessaria una revisione a livello di sequenza, non solo un campionamento dei frame.
Stai definendo un progetto simile?
Preferiamo parlare del problema piuttosto che quotare un volume.
Vedi i serviziPerché la coerenza tra i frame domina?
Perché il modello sta imparando che gli oggetti persistono. Se lo stesso veicolo è delimitato leggermente diverso tra frame consecutivi, il segnale di addestramento dice che il veicolo ha cambiato forma e il comportamento di tracciamento si degrada in modi che le metriche per frame non mostrano.
Ogni singolo frame può essere entro la tolleranza mentre la sequenza nel suo insieme è inutilizzabile. Questo è il fallimento caratteristico dei dataset di robotica annotati con abitudini di annotazione delle immagini.
In che modo il QA dovrebbe differire dall'annotazione delle immagini?
Rivedere le sequenze, non i frame campionati. Un campione casuale di frame è quasi cieco alla deriva, perché la deriva è una proprietà della relazione tra i frame piuttosto che di uno qualsiasi di essi.
Chiedere specificamente come il fornitore rivede le sequenze e qual è la loro metrica di coerenza. Se la risposta è l'accuratezza per frame, stanno misurando la cosa sbagliata.
- Revisione a livello di sequenza, non campionamento dei frame
- Una metrica di coerenza tra i frame esplicita
- Convenzioni di ingresso e uscita delle occlusioni
- Gestione degli oggetti che escono e rientrano nella scena
Quali convenzioni devono essere fissate in anticipo?
Principalmente l'occlusione. Cosa succede quando un oggetto è parzialmente nascosto, completamente nascosto per diversi frame, poi riappare. Se la scatola è interpolata attraverso l'occlusione o eliminata e una nuova traccia iniziata.
Entrambe le risposte sono difendibili. Una risposta non specificata significa che diversi annotatori scelgono diversamente all'interno di un dataset, il che è peggio di entrambe le scelte.
Come si separano gli errori dei sensori dagli errori di annotazione?
Controllando la calibrazione prima di incolpare gli annotatori. La mancata calibrazione tra i sensori produce apparenti errori di annotazione che sono in realtà annotazioni corrette di dati disallineati.
Un fornitore che non può distinguere tra i due continuerà a ri-annotare dati che non erano mai il problema e vi fatturerà per questo.
Altre domande
Cosa conta di più nella qualità dell'annotazione LiDAR?
La coerenza tra i frame. Un oggetto etichettato leggermente diverso tra frame consecutivi insegna al modello che gli oggetti cambiano forma e le metriche di accuratezza per frame non lo rilevano.
Come dovrebbe essere controllata la qualità dell'annotazione robotica?
Rivedendo intere sequenze piuttosto che campionando singoli frame, con una metrica di coerenza tra i frame esplicita. Il campionamento dei frame è quasi cieco alla deriva.
Come distinguo gli errori di calibrazione dei sensori dagli errori di annotazione?
Controllare prima la calibrazione. La mancata calibrazione produce quelli che sembrano errori di annotazione ma sono annotazioni corrette di dati disallineati e ri-annotare non lo risolverà.