Jwuma저자원 언어 데이터를 소싱하는 방법과 그 지름길이 없는 이유
· 2 분 소요 · languages, specification
이 번역은 기계로 생성되었으며 원어민의 검수를 거치지 않았습니다. 불분명한 경우 영어 원문이 기준입니다. 잘못된 부분이 있으면 알려주시면 수정하겠습니다. English
저자원은 사용 가능한 데이터가 거의 없다는 것을 의미하며, 화자 수가 적다는 것을 의미하지 않습니다. 스크래핑은 아무것도 찾지 못하고, 번역은 원어 사용이 아닌 번역된 텍스트를 생성하며, 합성 생성은 이미 해당 언어에 능숙한 모델이 필요합니다. 유일한 방법은 원어 화자가 새로운 자료를 생산하는 것이며, 이는 지역 내 소싱이 필수적인 제약 조건이 됩니다.
요약
- 저자원은 데이터 가용성을 의미하며, 화자 수를 의미하지 않습니다.
- 번역된 코퍼스는 번역된 레지스터를 가르치며, 원어 사용이 아닙니다.
- 합성 생성은 모델이 해당 언어를 잘 다루지 못할 때 순환적입니다.
- 소싱은 언어 공동체 내의 물리적 존재에 달려 있습니다.
- Corpshore는 Twi, Karakalpak 및 Wayuu를 포함한 언어를 다룹니다.
왜 스크래핑이 실패하나요?
사용 가능한 양으로 온라인에 존재하지 않기 때문입니다. 이것이 언어가 저자원인 이유입니다. 더 열심히 스크래핑한다고 해서 존재하지 않았던 텍스트가 생성되지는 않습니다.
스크래핑으로 발견되는 것은 종종 종교 번역, 정부 공지 및 뉴스로, 이는 대화 처리가 불가능한 좁고 형식적인 레지스터를 훈련시킵니다.
왜 번역이 실패하나요?
영어 문장을 대상 언어로 번역한 코퍼스는 모델에게 번역된 레지스터를 가르치기 때문입니다. 원어 화자는 그렇게 말하지 않으며, 불일치는 실제 사용에서 즉시 나타납니다.
또한 소스 언어의 주제 분포를 가져오므로, 결과 시스템은 소스 코퍼스가 다룬 주제에 대해 유창하지만 지역적으로 중요한 주제에 대해서는 무지합니다.
왜 합성 생성이 순환적인가요?
언어에 대한 사용 가능한 학습 데이터를 생성하려면 이미 해당 언어에 능숙한 모델이 필요하기 때문입니다. 만약 그렇다면 데이터를 필요로 하지 않을 것입니다.
합성 증강은 진정한 시드 코퍼스가 존재할 때 실제로 유용합니다. 그것을 생성할 수는 없습니다.
소싱에 실제로 필요한 것은 무엇인가요?
원어 화자가 새로운 자료를 생산하는 것이며, 이는 온라인에서 대규모로가 아닌 언어 공동체 내에서 모집하는 것을 의미합니다. 많은 저자원 언어의 경우 화자 인구가 지리적으로 집중되어 있어, 이는 플랫폼 문제 이전에 물리적 존재 문제입니다.
그에 따른 일정이 반영될 것으로 예상됩니다. 기존 코퍼스가 없고 화자 인구가 분산된 언어는 수개월에 걸친 소싱 작업이며, 그렇지 않다고 인용하는 공급업체는 번역을 하청하거나 요청을 이해하지 못한 것입니다.
- 언어 공동체 내에서의 모집
- 번역이 아닌 원어 생산
- 제로에서 코퍼스 생성에 대한 현실적인 일정
- 명시적으로 지정된 레지스터 및 도메인 범위
다른 질문
기계 학습에서 저자원 언어란 무엇인가요?
화자 수와 상관없이 학습에 사용할 수 있는 디지털 데이터가 거의 없는 언어입니다. 수천만 명의 화자가 있는 언어도 저자원일 수 있습니다.
번역된 텍스트를 사용하여 저자원 언어 모델을 훈련할 수 있나요?
번역된 레지스터를 가르치며 원어 사용이 아니고, 소스 코퍼스의 주제 분포를 가져옵니다. 불일치는 실제 사용자와 즉시 드러납니다.
합성 데이터가 저자원 언어의 격차를 해결할 수 있나요?
제로에서 시작할 수 없습니다. 사용 가능한 데이터를 생성하려면 이미 해당 언어에 능숙한 모델이 필요하며, 이는 순환적입니다. 합성 증강은 진정한 원어 시드 코퍼스가 존재할 때만 유용합니다.