Avaliação de modelos, especialistas de domínio versus generalistas que trabalham com uma lista de verificação

O que um generalista pode julgar de forma confiável?

Se uma resposta é clara, adequadamente cautelosa, corretamente formatada, responde ao que foi perguntado e está livre de problemas óbvios de segurança. Estas são qualidades reais e que valem a pena medir, e um painel de generalistas bem calibrado as avalia bem e de forma econômica.

O que eles não podem fazer é dizer se a resposta está correta em um domínio que não conhecem. Isso não é um problema de treinamento, é a definição do domínio.

O que dá errado quando você faz isso ao contrário?

Você obtém pontuações altas que medem a coisa errada. Uma resposta clínica fluente, confiante, bem estruturada e completamente incorreta pontua bem com um avaliador que não pode avaliar a correção clínica, e a métrica resultante engana ativamente sobre a segurança do modelo.

Isso é pior do que não ter avaliação, porque um número é relatado e utilizado.

Como saber qual você precisa?

Pergunte como seria uma resposta errada. Se uma resposta errada é reconhecível por um leigo inteligente, generalistas são adequados. Se uma resposta errada parece exatamente uma resposta certa a menos que você conheça o campo, você precisa de um praticante.

A maioria dos programas de avaliação precisa de ambos, em diferentes eixos do mesmo resultado, em vez de escolher um.

• Um leigo reconheceria uma resposta errada?
• O modo de falha parece competência fluente?
• O conteúdo é regulado ou crítico para a segurança?
• A saída está em uma língua que seus avaliadores realmente falam?

Qual deve ser o resultado?

Uma taxonomia de falhas, não apenas uma pontuação. Saber que um modelo pontua 72 não lhe diz nada acionável. Saber que suas falhas se agrupam em três modos nomeados, um dos quais é relevante para a segurança, lhe diz o que corrigir.

Peça pela taxonomia como um entregável no momento da especificação. Adaptar uma a partir de dados pontuados posteriormente raramente funciona.

Quando eu preciso de especialistas de domínio para a avaliação de modelos?

Quando uma resposta errada pareceria uma resposta certa para um não especialista. Se o modo de falha é competência fluente, apenas alguém qualificado no domínio pode detectá-lo.

Avaliadores generalistas podem avaliar saídas clínicas ou legais?

Eles podem avaliar tom, formato e questões óbvias de segurança, mas não a correção. Usá-los para correção produz pontuações que medem fluência e enganam sobre a segurança do modelo.

O que um programa de avaliação deve entregar além de pontuações?

Uma taxonomia de falhas nomeando as distintas formas como o modelo falha. Uma pontuação sozinha não é acionável; modos de falha nomeados são.