JwumaRobotik und verkörperte AI-Daten, wo LiDAR-Annotationen fehlschlagen
· 2 Min. Lesezeit · specification, robotics
Diese Übersetzung wurde maschinell erstellt und nicht von einem Muttersprachler geprüft. Im Zweifelsfall gilt die englische Fassung. Sagen Sie uns Bescheid, wenn etwas falsch klingt, und wir korrigieren es. English
Robotik-Annotation umfasst Punktwolken, Tiefe und Bewegung über Sequenzen hinweg. Die Konsistenz über mehrere Bilder ist wichtiger als die Genauigkeit pro Bild, da ein Objekt, das von Bild zu Bild leicht unterschiedlich gekennzeichnet ist, einem Modell beibringt, dass die Welt flackert. Konsistenzanforderungen müssen explizit spezifiziert werden, da eine QA pro Bild dies nicht erkennt.
Kurz gefasst
- Konsistenz über mehrere Bilder ist die dominierende Qualitätsdimension.
- Genauigkeitsprüfungen pro Bild erkennen kein Drift über mehrere Bilder.
- Konventionen zur Handhabung von Verdeckungen müssen festgelegt werden, bevor die Annotation beginnt.
- Sensor-Kalibrierungsfehler werden leicht mit Annotationfehlern verwechselt.
- Eine Überprüfung auf Sequenzebene ist erforderlich, nicht nur eine Stichprobe von Bildern.
Planen Sie etwas Ähnliches?
Wir sprechen lieber über das Problem als über eine Mengenangabe.
Leistungen ansehenWarum dominiert die Konsistenz über mehrere Bilder?
Weil das Modell lernt, dass Objekte bestehen bleiben. Wenn dasselbe Fahrzeug in aufeinanderfolgenden Bildern leicht unterschiedlich umrahmt wird, signalisiert das Trainingssignal, dass sich das Fahrzeug verändert hat, und das Tracking-Verhalten verschlechtert sich auf eine Weise, die durch Metriken pro Bild nicht sichtbar wird.
Jedes einzelne Bild kann innerhalb der Toleranz liegen, während die Sequenz als Ganzes unbrauchbar ist. Dies ist das charakteristische Versagen von Robotik-Datensätzen, die mit Bild-Annotation-Gewohnheiten annotiert wurden.
Wie sollte sich QA von der Bildannotation unterscheiden?
Überprüfen Sie Sequenzen, nicht nur Stichproben von Bildern. Eine zufällige Bildstichprobe ist nahezu blind für Drift, da Drift eine Eigenschaft der Beziehung zwischen Bildern ist und nicht eines einzelnen Bildes.
Fragen Sie gezielt, wie Ihr Anbieter Sequenzen überprüft und was seine Konsistenzmetrik ist. Wenn die Antwort die Genauigkeit pro Bild ist, messen sie das Falsche.
- Überprüfung auf Sequenzebene, nicht nur Bildstichproben
- Eine explizite Konsistenzmetrik über mehrere Bilder
- Konventionen für das Ein- und Austreten von Verdeckungen
- Handhabung von Objekten, die die Szene verlassen und wieder betreten
Welche Konventionen müssen im Voraus festgelegt werden?
Vor allem Verdeckungen. Was passiert, wenn ein Objekt teilweise verdeckt, für mehrere Bilder vollständig verdeckt ist und dann wieder erscheint. Ob die Box durch die Verdeckung interpoliert oder fallen gelassen wird und eine neue Spur begonnen wird.
Beide Antworten sind vertretbar. Eine nicht spezifizierte Antwort bedeutet, dass verschiedene Annotatoren innerhalb eines Datensatzes unterschiedlich wählen, was schlimmer ist als jede der beiden Entscheidungen.
Wie trennt man Sensorfehler von Annotationfehlern?
Indem man die Kalibrierung überprüft, bevor man die Annotatoren beschuldigt. Eine Fehlkalibrierung zwischen Sensoren führt zu scheinbaren Annotationfehlern, die tatsächlich korrekte Annotationen von nicht ausgerichteten Daten sind.
Ein Anbieter, der die beiden nicht unterscheiden kann, wird weiterhin Daten neu annotieren, die nie das Problem waren, und Ihnen dafür Kosten berechnen.
Weitere Fragen
Was ist bei der Qualität von LiDAR-Annotationen am wichtigsten?
Konsistenz über mehrere Bilder. Ein Objekt, das zwischen aufeinanderfolgenden Bildern leicht unterschiedlich gekennzeichnet ist, lehrt das Modell, dass sich Objekte verändern, und Genauigkeitsmetriken pro Bild erkennen dies nicht.
Wie sollte die Qualität von Robotik-Annotationen überprüft werden?
Durch Überprüfung ganzer Sequenzen anstatt durch Stichproben einzelner Bilder, mit einer expliziten Konsistenzmetrik über mehrere Bilder. Bildstichproben sind nahezu blind für Drift.
Wie unterscheide ich Sensor-Kalibrierungsfehler von Annotationfehlern?
Überprüfen Sie zuerst die Kalibrierung. Fehlkalibrierung führt zu scheinbaren Annotationfehlern, die jedoch korrekte Annotationen von nicht ausgerichteten Daten sind, und eine erneute Annotation wird dies nicht beheben.