Ủy quyền red teaming, làm thế nào để có được những phát hiện có thể hành động

Điều gì làm cho một phát hiện có thể hành động?

Rằng ai đó không có mặt có thể tái tạo nó. Điều đó yêu cầu chuỗi nhắc nhở chính xác, bất kỳ ngữ cảnh nào được thiết lập trước, những gì được mong đợi, những gì đã xảy ra, và mức độ lặp lại đáng tin cậy.

Một mô tả sống động về kết quả đáng lo ngại mà không có đường dẫn tái tạo không phải là một phát hiện. Đó là một giai thoại, và nó tiêu tốn thời gian kỹ thuật mà không tạo ra giải pháp.

• Những nhắc nhở chính xác theo thứ tự
• Điều kiện tiên quyết và ngữ cảnh được thiết lập trước
• Hành vi mong đợi so với thực tế
• Độ tin cậy của việc tái tạo qua các lần thử
• Phiên bản và cài đặt của mô hình

Tại sao số lượng phát hiện là thước đo sai lầm?

Vì nó thưởng cho số lượng trong các loại tấn công dễ nhất. Một chương trình đo lường bằng số lượng tạo ra nhiều biến thể của cùng một điểm yếu cơ bản, đó là một phát hiện được báo cáo hai mươi lần.

Thay vào đó, hãy chỉ định độ bao phủ: những loại tấn công nào, những ngôn ngữ nào, những lĩnh vực nào, và yêu cầu báo cáo nêu rõ nơi nào độ bao phủ còn mỏng. Một nhà cung cấp nói với bạn những gì họ không bao phủ hữu ích hơn một người báo cáo số lượng lớn.

Hầu hết các chương trình thường thiếu sót ở đâu?

Độ bao phủ ngôn ngữ. Hầu hết red teaming diễn ra bằng tiếng Anh, và hành vi an toàn thường không chuyển giao, vì vậy một mô hình có thể được thăm dò rộng rãi nhưng vẫn có các rào chắn chưa được kiểm tra cho hầu hết người dùng của nó.

Đặc thù văn hóa còn khan hiếm hơn. Biết được những khung nào nhạy cảm địa phương ở một khu vực cụ thể là kiến thức, không phải kỹ thuật, và không thể có được từ một danh sách kiểm tra.

Ai nên phân loại mức độ nghiêm trọng?

Bạn nên. Đánh giá mức độ nghiêm trọng của người kiểm tra phản ánh những gì họ thấy, không phải ngữ cảnh triển khai của bạn, và cùng một hành vi có thể quan trọng trong một sản phẩm và không liên quan trong sản phẩm khác.

Yêu cầu mô tả tác động trung thực từ người kiểm tra và tự phân loại. Các nhà cung cấp mà người kiểm tra của họ phân loại mức độ nghiêm trọng cuối cùng có cấu trúc khuyến khích mà bạn không muốn.

Điều gì làm cho một phát hiện red teaming AI hữu ích?

Khả năng tái tạo. Một kỹ sư phải có thể kích hoạt cùng hành vi từ bản mô tả, điều này yêu cầu các nhắc nhở chính xác, điều kiện tiên quyết, hành vi mong đợi so với thực tế và độ tin cậy của việc tái tạo.

Tôi có nên đo lường red teaming bằng số lượng phát hiện không?

Không. Đếm phát hiện thưởng cho số lượng trong các loại tấn công dễ nhất và tạo ra nhiều biến thể của một điểm yếu cơ bản. Thay vào đó, hãy chỉ định và đo lường độ bao phủ.

Tại sao red teaming đa ngôn ngữ quan trọng?

Vì các rào chắn an toàn thường không chuyển giao qua các ngôn ngữ. Một mô hình chỉ được thăm dò bằng tiếng Anh có thể có các rào chắn hoàn toàn chưa được kiểm tra đối với hầu hết người dùng thực tế của nó.