Raccolta di dati vocali, cosa contiene una buona specifica

Scriptato o spontaneo?

Il discorso scriptato offre copertura fonetica e allineamento pulito. Il discorso spontaneo offre disfluenza, sovrapposizione, falsi inizi e il modo in cui le persone parlano realmente. Non sono sostituibili e un sistema addestrato solo sul primo fallisce con input reali.

La maggior parte dei progetti necessita di entrambi in un rapporto dichiarato. Lasciare il rapporto non dichiarato produce prevalentemente scriptato, perché è più facile da raccogliere.

Perché specificare le condizioni acustiche come un intervallo?

Perché un dataset registrato esclusivamente in stanze silenziose allena un sistema che funziona in stanze silenziose. Se i tuoi utenti si trovano in strada o in un mercato, hai bisogno di registrazioni da quelle condizioni incluse deliberatamente piuttosto che trattate come scarti.

Specifica l'intervallo richiesto e la proporzione in ciascuna fascia. Altrimenti la raccolta ottimizza per le registrazioni più pulite e la tua performance in condizioni rumorose viene scoperta in produzione.

• Studio o interno silenzioso
• Interno ordinario con rumore di fondo
• Condizioni esterne e di strada
• Telefono o canale compresso dove rilevante

Come dovrebbe essere specificata la diversità dei parlanti?

Numericamente. Fasce d'età, equilibrio di genere, distribuzione degli accenti regionali, ciascuno con una proporzione target. La diversità descritta come un obiettivo piuttosto che come una quota non sopravvive al contatto con la logistica della raccolta.

Per le regioni multilingue, specifica esplicitamente l'aspettativa di code-switching. Se non lo fai, otterrai o nessuno di esso o una quantità non misurata, e nessuno dei due è utile.

E le convenzioni di trascrizione?

Fissale prima che inizi la raccolta e congelale per lotto. Le convenzioni per disfluenza, discorso sovrapposto, audio non chiaro e confini di code-switch necessitano tutte di regole esplicite, e ognuna di esse è un punto in cui i trascrittori altrimenti inventeranno la propria risposta.

Adattare retroattivamente una convenzione su un corpus già trascritto è costoso e di solito incompleto.

Cosa dovrebbe includere una specifica di dati vocali?

Il rapporto tra scriptato e spontaneo, l'intervallo richiesto di condizioni acustiche con proporzioni, obiettivi numerici di diversità dei parlanti e convenzioni di trascrizione fisse che coprono disfluenza, sovrapposizione e code-switching.

Perché includere registrazioni rumorose in un dataset vocale?

Perché un sistema addestrato solo su audio pulito funziona solo su audio pulito. Se i tuoi utenti parlano in strada o nei mercati, quelle condizioni devono essere incluse deliberatamente piuttosto che respinte durante la raccolta.

Le convenzioni di trascrizione devono essere fissate prima o dopo la raccolta?

Prima, e congelate per lotto. Adattare retroattivamente le convenzioni su un corpus già trascritto è costoso e raramente completamente coerente.