JwumaAquisição de dados linguísticos de baixo recurso e por que não há atalhos
· 3 min de leitura · languages, specification
Esta tradução foi produzida por máquina e não foi verificada por um falante nativo. Em caso de dúvida, a versão em inglês é a original. Diga-nos se algo estiver errado e corrigiremos. English
Baixo recurso significa que existem poucos dados utilizáveis, não poucos falantes. A raspagem não encontra nada, a tradução produz texto traduzido em vez de uso nativo e a geração sintética requer um modelo já competente na língua. A única solução é que falantes nativos produzam novo material, o que torna a aquisição na região a restrição principal.
Em resumo
- Baixo recurso refere-se à disponibilidade de dados, não ao número de falantes.
- Corpora traduzidos ensinam registro traduzido, não uso nativo.
- A geração sintética é circular para línguas que um modelo lida mal.
- A aquisição depende da presença física na comunidade linguística.
- A Corpshore cobre línguas incluindo Twi, Karakalpak e Wayuu.
Está a definir algo assim?
Preferimos falar do problema em vez de orçamentar por volume.
Ver capacidadesPor que a raspagem falha aqui?
Porque o material não existe online em quantidade utilizável. Isso é o que torna a língua de baixo recurso em primeiro lugar. Raspagem mais intensa não cria texto que nunca foi escrito.
O que a raspagem encontra é frequentemente tradução religiosa, avisos governamentais e notícias, que é um registro estreito e formal que treina um sistema incapaz de lidar com conversação.
Por que a tradução falha?
Porque um corpus de frases em inglês traduzidas para uma língua-alvo ensina o modelo a registrar tradução. Falantes nativos não falam dessa forma, e a discrepância aparece imediatamente no uso real.
Também importa a distribuição tópica da língua de origem, então o sistema resultante é fluente sobre assuntos que o corpus de origem cobriu e perdido em assuntos que importam localmente.
Por que a geração sintética é circular?
Porque gerar dados de treino utilizáveis para uma língua requer um modelo já competente nessa língua. Se você tivesse isso, não precisaria dos dados.
Aumentação sintética tem usos reais uma vez que você tem um corpus de sementes genuíno. Não pode criar um.
O que a aquisição realmente requer?
Falantes nativos produzindo novo material, o que significa recrutar na comunidade linguística em vez de online em geral. Para muitas línguas de baixo recurso, a população falante está geograficamente concentrada, então este é um problema de presença física antes de ser um problema de plataforma.
Espere que os prazos reflitam isso. Uma língua sem corpus existente e com uma população falante dispersa é um exercício de aquisição de vários meses, e qualquer fornecedor que cite o contrário está subcontratando para tradução ou não entendeu a solicitação.
- Recrutamento dentro da comunidade linguística
- Produção nativa, não tradução
- Prazos realistas para criação de corpus do zero
- Cobertura de registro e domínio especificada explicitamente
Outras perguntas
O que é uma língua de baixo recurso em aprendizado de máquina?
Uma língua com poucos dados digitais utilizáveis disponíveis para treino, independentemente do número de falantes. Algumas línguas com dezenas de milhões de falantes são de baixo recurso.
Posso usar texto traduzido para treinar um modelo de língua de baixo recurso?
Ensina registro traduzido em vez de uso nativo e importa a distribuição tópica do corpus de origem. A discrepância aparece imediatamente com usuários reais.
Dados sintéticos podem resolver lacunas de línguas de baixo recurso?
Não a partir do zero. Gerar dados utilizáveis requer um modelo já competente na língua, o que é circular. Aumentação sintética é útil apenas quando já existe um corpus de sementes nativo genuíno.