JwumaDados de robótica e AI incorporada, onde a anotação LiDAR falha
· 3 min de leitura · specification, robotics
Esta tradução foi produzida por máquina e não foi verificada por um falante nativo. Em caso de dúvida, a versão em inglês é a original. Diga-nos se algo estiver errado e corrigiremos. English
A anotação em robótica abrange nuvens de pontos, profundidade e movimento em sequências. A consistência entre frames importa mais do que a precisão por frame, porque um objeto rotulado de forma ligeiramente diferente de frame para frame ensina ao modelo que o mundo pisca. Especifique os requisitos de consistência explicitamente, porque a QA por frame não detectará isso.
Em resumo
- A consistência entre frames é a dimensão de qualidade dominante.
- Verificações de precisão por frame não detectam desvio entre frames.
- As convenções de tratamento de oclusão devem ser definidas antes de começar a anotação.
- Erros de calibração de sensores são facilmente confundidos com erros de anotação.
- É necessária uma revisão ao nível da sequência, não apenas uma amostragem de frames.
Está a definir algo assim?
Preferimos falar do problema em vez de orçamentar por volume.
Ver capacidadesPor que a consistência entre frames domina?
Porque o modelo está aprendendo que os objetos persistem. Se o mesmo veículo é delimitado de forma ligeiramente diferente em frames consecutivos, o sinal de treino indica que o veículo mudou de forma, e o comportamento de rastreamento se degrada de maneiras que as métricas por frame não mostram.
Cada frame individual pode estar dentro da tolerância enquanto a sequência como um todo é inutilizável. Esta é a falha característica de conjuntos de dados de robótica anotados com hábitos de anotação de imagem.
Como a QA deve diferir da anotação de imagem?
Reveja sequências, não frames amostrados. Uma amostra aleatória de frames é quase cega para o desvio, porque o desvio é uma propriedade da relação entre frames e não de qualquer um deles.
Pergunte especificamente como o seu fornecedor revisa sequências e qual é a métrica de consistência deles. Se a resposta for precisão por frame, eles estão medindo a coisa errada.
- Revisão ao nível da sequência, não amostragem de frames
- Uma métrica de consistência entre frames explícita
- Convenções de entrada e saída de oclusão
- Tratamento de objetos que saem e reentram na cena
Que convenções precisam ser definidas com antecedência?
Principalmente a oclusão. O que acontece quando um objeto está parcialmente oculto, totalmente oculto por vários frames, e depois reaparece. Se a caixa é interpolada através da oclusão ou descartada e uma nova trilha iniciada.
Ambas as respostas são defensáveis. Uma resposta não especificada significa que diferentes anotadores escolhem de forma diferente dentro de um conjunto de dados, o que é pior do que qualquer uma das escolhas.
Como separar erros de sensor de erros de anotação?
Verificando a calibração antes de culpar os anotadores. A descalibração entre sensores produz erros de anotação aparentes que são, na verdade, anotações corretas de dados desalinhados.
Um fornecedor que não consegue distinguir os dois continuará reanotando dados que nunca foram o problema, e cobrará por isso.
Outras perguntas
O que importa mais na qualidade da anotação LiDAR?
Consistência entre frames. Um objeto rotulado de forma ligeiramente diferente entre frames consecutivos ensina ao modelo que os objetos mudam de forma, e as métricas de precisão por frame não detectam isso.
Como deve ser verificada a qualidade da anotação em robótica?
Revisando sequências inteiras em vez de amostrar frames individuais, com uma métrica de consistência entre frames explícita. A amostragem de frames é quase cega para o desvio.
Como diferenciar erros de calibração de sensores de erros de anotação?
Verifique a calibração primeiro. A descalibração produz o que parecem ser erros de anotação, mas são anotações corretas de dados desalinhados, e reanotar não resolverá o problema.