JwumaÉvaluation de modèle, experts du domaine contre généralistes travaillant à partir d'une liste de contrôle
· 3 min de lecture · evaluation, expert data
Cette traduction a été produite par une machine et n'a pas été vérifiée par un locuteur natif. En cas de doute, la version anglaise fait foi. Signalez-nous toute erreur et nous la corrigerons. English
Les généralistes peuvent évaluer de manière fiable le ton, l'utilité, le format et les échecs de sécurité évidents. Ils ne peuvent pas évaluer si une réponse clinique ou juridique est correcte, car cela nécessite de connaître le domaine. Commander une évaluation généraliste pour un contenu expert produit des scores confiants qui mesurent la fluidité plutôt que l'exactitude.
En bref
- Les généralistes évaluent de manière fiable les qualités de surface : ton, format, utilité.
- La correction dans le domaine nécessite un évaluateur qualifié dans ce domaine.
- Les réponses erronées mais fluides obtiennent de bons scores avec des évaluateurs non qualifiés.
- Les taxonomies des échecs sont plus exploitables que les scores globaux.
- L'évaluation dans une langue doit être faite par des locuteurs de cette langue.
Un projet de ce type à cadrer ?
Nous préférons parler du problème plutôt que chiffrer un volume.
Voir nos prestationsQue peut juger de manière fiable un généraliste ?
Si une réponse est claire, correctement nuancée, correctement formatée, répond à la question posée et est exempte de problèmes de sécurité évidents. Ce sont des éléments réels et dignes d'être mesurés, et un panel de généralistes bien calibré les évalue bien et à moindre coût.
Ce qu'ils ne peuvent pas faire, c'est vous dire si la réponse est correcte dans un domaine qu'ils ne connaissent pas. Ce n'est pas un problème de formation, c'est la définition du domaine.
Que se passe-t-il quand vous vous trompez ?
Vous obtenez des scores élevés qui mesurent la mauvaise chose. Une réponse clinique fluide, confiante, bien structurée et complètement incorrecte obtient de bons scores avec un évaluateur qui ne peut pas évaluer la correction clinique, et la métrique résultante vous induit en erreur sur la sécurité du modèle.
C'est pire que de ne pas avoir d'évaluation, car un chiffre est rapporté et pris en compte.
Comment savoir de quoi vous avez besoin ?
Demandez à quoi ressemblerait une réponse erronée. Si une réponse erronée est reconnaissable par une personne intelligente non spécialiste, les généralistes conviennent. Si une réponse erronée ressemble exactement à une réponse correcte à moins de connaître le domaine, vous avez besoin d'un praticien.
La plupart des programmes d'évaluation ont besoin des deux, sur différents axes du même résultat, plutôt que de choisir l'un ou l'autre.
- Une personne non spécialiste reconnaîtrait-elle une réponse erronée ?
- Le mode d'échec ressemble-t-il à une compétence fluide ?
- Le contenu est-il réglementé ou critique pour la sécurité ?
- La sortie est-elle dans une langue que vos évaluateurs parlent réellement ?
Quel devrait être le résultat ?
Une taxonomie des échecs, pas seulement un score. Savoir qu'un modèle obtient 72 ne vous dit rien d'exploitable. Savoir que ses échecs se regroupent en trois modes nommés, dont l'un est pertinent pour la sécurité, vous indique ce qu'il faut corriger.
Demandez la taxonomie comme livrable au moment de la spécification. En créer une à partir de données notées après coup fonctionne rarement.
Autres questions
Quand ai-je besoin d'experts du domaine pour l'évaluation de modèle ?
Quand une réponse erronée ressemblerait à une réponse correcte pour un non-spécialiste. Si le mode d'échec est une compétence fluide, seule une personne qualifiée dans le domaine peut le détecter.
Les évaluateurs généralistes peuvent-ils évaluer le contenu clinique ou juridique ?
Ils peuvent évaluer le ton, le format et les problèmes de sécurité évidents, mais pas la correction. Les utiliser pour la correction produit des scores qui mesurent la fluidité et induisent en erreur sur la sécurité du modèle.
Que doit livrer un programme d'évaluation en plus des scores ?
Une taxonomie des échecs nommant les différentes façons dont le modèle échoue. Un score seul n'est pas exploitable ; des modes d'échec nommés le sont.