Jwumaモデル評価、チェックリストを使う一般評価者と専門家
· 1 分で読めます · evaluation, expert data
この翻訳は機械によるもので、ネイティブスピーカーの確認は受けていません。不明な点がある場合は英語版が原文です。誤りがあればお知らせください。修正します。 English
一般評価者は、トーン、役立ち度、形式、明らかな安全性の欠如を信頼性高く評価できます。しかし、臨床や法律の回答が正しいかどうかを評価することはできません。それにはその分野の知識が必要です。専門的な内容に一般評価者を使うと、流暢さを測る自信のあるスコアが出てしまい、正確さを測ることができません。
要点
- 一般評価者は表面的な品質を信頼性高く評価します：トーン、形式、役立ち度。
- 分野の正確さは、その分野で資格を持つ評価者が必要です。
- 流暢で間違った回答は、資格のない評価者に高く評価されます。
- 失敗の分類は、総合スコアよりも実行可能です。
- 言語での評価は、その言語を話す人が行うべきです。
一般評価者が信頼性高く判断できることは？
回答が明確で、適切に曖昧さを持ち、正しく形式化され、質問に応じており、明らかな安全性の問題がないかどうか。これらは実際に価値があり、測定する価値があります。よく調整された一般評価者のパネルは、これを安価に行います。
彼らができないことは、知らない分野での回答が正しいかどうかを判断することです。それは訓練の問題ではなく、その分野の定義です。
これを逆にすると何が問題になるか？
間違ったことを測る高いスコアが得られます。流暢で自信に満ちた、構造化された完全に間違った臨床回答は、臨床の正確さを評価できない評価者に高く評価され、その結果の指標はモデルの安全性について誤解を招きます。
これは評価がないよりも悪いです。なぜなら、数値が報告され、それに基づいて行動されるからです。
どちらが必要かどうやって判断するか？
間違った回答がどのように見えるかを尋ねてください。間違った回答が知的な一般人に認識される場合、一般評価者で問題ありません。間違った回答がその分野を知らないと正しい回答と全く同じに見える場合、専門家が必要です。
ほとんどの評価プログラムは、同じ出力の異なる軸で両方を必要とし、一方を選ぶのではありません。
- 一般人が間違った回答を認識できるか？
- 失敗モードが流暢な能力に見えるか？
- 内容が規制されているか、安全性が重要か？
- 出力が評価者が実際に話す言語であるか？
出力は何であるべきか？
スコアだけでなく、失敗の分類。モデルが72点を取ったことを知っても実行可能な情報は得られません。失敗が3つの名前付きモードに分類され、そのうち1つが安全性に関連していることを知ることが修正すべき点を教えてくれます。
仕様の段階で分類を成果物として要求してください。スコアデータから後で分類を適用することはほとんどうまくいきません。
その他の質問
モデル評価に専門家が必要な場合はいつですか？
間違った回答が非専門家に正しい回答のように見える場合。失敗モードが流暢な能力である場合、その分野で資格を持つ人だけがそれを検出できます。
一般評価者は臨床または法律の出力を評価できますか？
トーン、形式、明らかな安全性の問題を評価できますが、正確さは評価できません。正確さのために彼らを使用すると、流暢さを測るスコアが出て、モデルの安全性について誤解を招きます。
評価プログラムはスコア以外に何を提供すべきですか？
モデルが失敗する異なる方法を名前で示す失敗の分類。スコアだけでは実行可能ではありません。名前付きの失敗モードが必要です。