レッドチーミングの委託方法：実行可能な発見を得るために

発見を実行可能にする要素は何ですか？

その場にいなかった人が再現できることです。それには、正確なプロンプトの順序、事前に設定されたコンテキスト、期待された結果、実際に起こったこと、そしてどれだけ確実に繰り返されるかが必要です。

再現経路のない驚くべき出力の生々しい説明は発見ではありません。それは逸話であり、修正を生まないままエンジニアリングの時間を消費します。

• 正確なプロンプトの順序
• 事前に設定された前提条件とコンテキスト
• 期待された動作と実際の動作の比較
• 試行間の再現性の信頼性
• モデルのバージョンと設定

なぜ発見数は間違った指標なのか？

それは最も簡単な攻撃クラスでの量を奨励するからです。数で測定されるプログラムは、同じ根本的な弱点の多くのバリエーションを生み出し、それは20回報告された1つの発見です。

代わりにカバレッジを指定します：どの攻撃クラス、どの言語、どのドメインか、そしてカバレッジが薄かった場所を報告に記載するよう要求します。何をカバーしなかったかを教えてくれるサプライヤーは、多くの数を報告するサプライヤーよりも有用です。

ほとんどのプログラムがどこで失敗するか？

言語カバレッジです。ほとんどのレッドチーミングは英語で行われ、安全性の動作は頻繁に転送されないため、モデルは広範にプローブされても、ほとんどのユーザーに対して未テストのガードレールを持つことがあります。

文化的特異性はさらに希少です。特定の地域でどのフレーミングが現地で敏感であるかを知ることは知識であり、技術ではなく、チェックリストから得られるものではありません。

誰が深刻度を割り当てるべきか？

あなたが割り当てるべきです。テスターの深刻度評価は彼らが見たものを反映しており、あなたの展開コンテキストを反映していません。同じ動作がある製品では重要で、別の製品では無関係であることがあります。

テスターから正直な影響の説明を要求し、あなた自身で優先順位を付けます。テスターが最終的な深刻度を割り当てるサプライヤーは、あなたが望まないインセンティブ構造を持っています。

AIレッドチーミングの発見を有用にする要素は何ですか？

再現性です。エンジニアは記述だけで同じ動作を引き起こせる必要があり、それには正確なプロンプト、前提条件、期待された動作と実際の動作の比較、再現性の信頼性が必要です。

レッドチーミングを発見数で測定すべきですか？

いいえ。発見数を数えることは、最も簡単な攻撃クラスでの量を奨励し、1つの根本的な弱点の多くのバリエーションを生み出します。代わりにカバレッジを指定し、測定します。

なぜ多言語のレッドチーミングが重要なのですか？

安全性のガードレールはしばしば言語間で転送されないからです。英語だけでプローブされたモデルは、実際のユーザーのほとんどに対して完全に未テストのガードレールを持つことがあります。