JwumaAcquisition de données linguistiques à faible ressource et pourquoi il n'y a pas de raccourci
· 3 min de lecture · languages, specification
Cette traduction a été produite par une machine et n'a pas été vérifiée par un locuteur natif. En cas de doute, la version anglaise fait foi. Signalez-nous toute erreur et nous la corrigerons. English
Faible ressource signifie peu de données utilisables, pas peu de locuteurs. Le scraping ne trouve rien, la traduction produit un texte traduit plutôt qu'un usage natif, et la génération synthétique nécessite un modèle déjà compétent dans la langue. La seule voie est que les locuteurs natifs produisent du nouveau matériel, ce qui rend l'acquisition sur place la contrainte principale.
En bref
- Faible ressource se réfère à la disponibilité des données, pas au nombre de locuteurs.
- Les corpus traduits enseignent un registre traduit, pas un usage natif.
- La génération synthétique est circulaire pour les langues que le modèle gère mal.
- L'acquisition dépend de la présence physique dans la communauté linguistique.
- Corpshore couvre des langues comme le twi, le karakalpak et le wayuu.
Un projet de ce type à cadrer ?
Nous préférons parler du problème plutôt que chiffrer un volume.
Voir nos prestationsPourquoi le scraping échoue-t-il ici ?
Parce que le matériel n'existe pas en ligne en quantité utilisable. C'est ce qui rend la langue à faible ressource en premier lieu. Scraper plus fort ne crée pas de texte qui n'a jamais été écrit.
Ce que le scraping trouve souvent, ce sont des traductions religieuses, des avis gouvernementaux et des nouvelles, qui sont un registre étroit et formel qui entraîne un système incapable de gérer la conversation.
Pourquoi la traduction échoue-t-elle ?
Parce qu'un corpus de phrases anglaises traduites dans une langue cible enseigne au modèle un registre traduit. Les locuteurs natifs ne parlent pas de cette manière, et le décalage apparaît immédiatement dans l'utilisation réelle.
Cela importe également la distribution thématique de la langue source, donc le système résultant est fluide sur les sujets couverts par le corpus source et perdu sur les sujets qui comptent localement.
Pourquoi la génération synthétique est-elle circulaire ?
Parce que générer des données d'entraînement utilisables pour une langue nécessite un modèle déjà compétent dans cette langue. Si vous aviez cela, vous n'auriez pas besoin des données.
L'augmentation synthétique a des utilisations réelles une fois que vous avez un véritable corpus de départ. Elle ne peut pas en créer un.
Que nécessite réellement l'acquisition ?
Des locuteurs natifs produisant du nouveau matériel, ce qui signifie recruter dans la communauté linguistique plutôt qu'en ligne de manière générale. Pour de nombreuses langues à faible ressource, la population de locuteurs est géographiquement concentrée, donc c'est un problème de présence physique avant d'être un problème de plateforme.
Attendez-vous à ce que les délais en tiennent compte. Une langue sans corpus existant et une population de locuteurs dispersée est un exercice d'acquisition de plusieurs mois, et tout fournisseur citant autrement sous-traite soit à la traduction, soit n'a pas compris la demande.
- Recrutement au sein de la communauté linguistique
- Production native, pas traduction
- Délais réalistes pour la création de corpus à partir de zéro
- Couverture du registre et du domaine spécifiée explicitement
Autres questions
Qu'est-ce qu'une langue à faible ressource en apprentissage automatique ?
Une langue avec peu de données numériques utilisables disponibles pour l'entraînement, indépendamment du nombre de locuteurs. Certaines langues avec des dizaines de millions de locuteurs sont à faible ressource.
Puis-je utiliser du texte traduit pour entraîner un modèle de langue à faible ressource ?
Cela enseigne un registre traduit plutôt qu'un usage natif, et importe la distribution thématique du corpus source. Le décalage apparaît immédiatement avec les utilisateurs réels.
Les données synthétiques peuvent-elles combler les lacunes des langues à faible ressource ?
Pas à partir de zéro. Générer des données utilisables nécessite un modèle déjà compétent dans la langue, ce qui est circulaire. L'augmentation synthétique n'est utile qu'une fois qu'un véritable corpus de départ natif existe.