委托红队测试：如何获得可操作的发现

什么使发现具有可操作性？

需要能够让不在现场的人重现。这需要精确的提示顺序、任何预先建立的上下文、预期结果、实际发生的情况以及重复的可靠性。

对令人担忧的输出进行生动描述但没有重现路径的不是发现，而是轶事，它消耗工程时间而不产生修复。

• 按顺序的精确提示
• 预先设定的前提条件和上下文
• 预期行为与实际行为的对比
• 跨尝试的重现可靠性
• 模型版本和设置

为什么发现数量是错误的指标？

因为它奖励最简单攻击类别的数量。按数量衡量的项目会产生同一基础弱点的多种变体，这实际上是一个发现被报告了二十次。

应指定覆盖率：哪些攻击类别，哪些语言，哪些领域，并要求报告说明覆盖不足的地方。供应商告诉你他们没有覆盖的内容比报告大量发现更有用。

大多数项目的不足之处在哪里？

语言覆盖。大多数红队测试发生在英语中，安全行为通常不会转移，因此模型可能经过广泛探测，但对大多数用户来说仍有未测试的防护措施。

文化特异性更为稀缺。了解特定地区哪些框架在当地敏感是知识，而不是技术，无法从清单中获得。

谁应该分配严重性？

应该由你来分配。测试者的严重性评估反映了他们所见，而不是你的部署环境，同一行为在一个产品中可能是关键的，而在另一个产品中可能无关紧要。

要求测试者提供诚实的影响描述，并自行进行分类。让测试者分配最终严重性的供应商有你不想要的激励结构。

什么使AI红队测试发现有用？

可重复性。工程师必须能够仅凭报告触发相同行为，这需要精确的提示、前提条件、预期与实际行为的对比以及重现可靠性。

我应该通过发现数量来衡量红队测试吗？

不应该。计算发现数量奖励最简单攻击类别的数量，并产生同一基础弱点的多种变体。应指定和衡量覆盖率。

为什么多语言红队测试很重要？

因为安全防护措施通常不会跨语言转移。仅在英语中探测的模型可能对其大多数实际用户来说有完全未测试的防护措施。