레드 팀 구성 의뢰하기: 실행 가능한 결과를 얻는 방법

실행 가능한 결과란 무엇인가요?

현장에 없던 사람이 재현할 수 있는 것입니다. 이는 정확한 프롬프트 순서, 사전에 설정된 모든 컨텍스트, 기대했던 것과 실제로 발생한 것, 그리고 얼마나 신뢰성 있게 반복되는지를 요구합니다.

재현 경로가 없는 놀라운 출력의 생생한 설명은 결과가 아닙니다. 그것은 일화에 불과하며, 수정 없이 엔지니어링 시간을 소모합니다.

• 정확한 프롬프트 순서
• 사전에 설정된 전제 조건과 컨텍스트
• 기대했던 동작과 실제 동작
• 시도 간 재현 신뢰성
• 모델 버전 및 설정

왜 발견 수가 잘못된 척도인가요?

가장 쉬운 공격 클래스에서 양을 보상하기 때문입니다. 발견 수로 측정된 프로그램은 동일한 근본적인 약점의 많은 변형을 생성하며, 이는 20번 보고된 하나의 발견입니다.

대신 범위를 명시하세요: 어떤 공격 클래스, 어떤 언어, 어떤 도메인인지, 그리고 보고서에 범위가 얇았던 부분을 명시하도록 요구하세요. 다수의 보고보다 다루지 않은 부분을 알려주는 공급자가 더 유용합니다.

대부분의 프로그램이 부족한 부분은 어디인가요?

언어 범위입니다. 대부분의 레드 팀 활동은 영어로 이루어지며, 안전 동작은 자주 전이되지 않기 때문에 모델은 광범위하게 탐색되더라도 대부분의 사용자에게는 테스트되지 않은 보호 장치를 가질 수 있습니다.

문화적 특수성은 더욱 부족합니다. 특정 지역에서 어떤 프레이밍이 민감한지 아는 것은 기술이 아닌 지식이며, 체크리스트로 습득할 수 없습니다.

누가 심각도를 지정해야 하나요?

귀하가 지정해야 합니다. 테스트하는 사람의 심각도 평가는 그들이 본 것을 반영하며, 귀하의 배포 환경과는 다를 수 있습니다. 동일한 동작이 한 제품에서는 치명적일 수 있고 다른 제품에서는 무관할 수 있습니다.

테스터로부터 솔직한 영향 설명을 요구하고 직접 분류하세요. 테스터가 최종 심각도를 지정하는 공급자는 귀하가 원하지 않는 인센티브 구조를 가지고 있습니다.

AI 레드 팀의 발견이 유용하려면 무엇이 필요한가요?

재현 가능성입니다. 엔지니어는 작성된 내용만으로 동일한 동작을 유발할 수 있어야 하며, 이는 정확한 프롬프트, 전제 조건, 기대했던 동작과 실제 동작, 재현 신뢰성을 요구합니다.

레드 팀을 발견 수로 측정해야 하나요?

아니요. 발견 수를 세는 것은 가장 쉬운 공격 클래스에서 양을 보상하며, 하나의 근본적인 약점의 많은 변형을 생성합니다. 대신 범위를 명시하고 측정하세요.

다국어 레드 팀이 중요한 이유는 무엇인가요?

안전 보호 장치가 언어 간에 자주 전이되지 않기 때문입니다. 영어로만 탐색된 모델은 실제 사용자 대부분에게 전혀 테스트되지 않은 보호 장치를 가질 수 있습니다.