Commissionare il red teaming, come ottenere risultati su cui si può agire

Cosa rende un risultato attuabile?

Che qualcuno che non era presente possa riprodurlo. Ciò richiede la sequenza esatta dei prompt, qualsiasi contesto stabilito in precedenza, cosa ci si aspettava, cosa è accaduto e quanto sia affidabile la ripetizione.

Una descrizione vivida di un risultato allarmante senza un percorso di riproduzione non è un risultato. È un aneddoto e consuma tempo ingegneristico senza produrre una soluzione.

• Prompt esatti in ordine
• Precondizioni e contesto stabiliti in precedenza
• Comportamento atteso rispetto a quello effettivo
• Affidabilità della riproduzione attraverso i tentativi
• Versione e impostazioni del modello

Perché il conteggio dei risultati è la metrica sbagliata?

Perché premia il volume nelle classi di attacco più semplici. Un programma misurato sul conteggio produce molte variazioni della stessa debolezza di base, che è un risultato riportato venti volte.

Specifica invece la copertura: quali classi di attacco, quali lingue, quali domini, e richiedi che il rapporto indichi dove la copertura era scarsa. Un fornitore che ti dice cosa non ha coperto è più utile di uno che riporta un gran numero.

Dove fallisce la maggior parte dei programmi?

Copertura linguistica. La maggior parte del red teaming avviene in inglese e il comportamento di sicurezza spesso non si trasferisce, quindi un modello può essere ampiamente testato e avere ancora barriere di sicurezza non testate per la maggior parte dei suoi utenti.

La specificità culturale è ancora più rara. Sapere quali inquadramenti sono localmente sensibili in una particolare regione è conoscenza, non tecnica, e non può essere acquisita da una checklist.

Chi dovrebbe assegnare la gravità?

Dovresti farlo tu. La valutazione della gravità da parte di un tester riflette ciò che hanno visto, non il tuo contesto di utilizzo, e lo stesso comportamento può essere critico in un prodotto e irrilevante in un altro.

Richiedi una descrizione onesta dell'impatto da parte del tester e fai tu stesso la classificazione. I fornitori i cui tester assegnano la gravità finale hanno una struttura di incentivi che non desideri.

Cosa rende utile un risultato di red teaming AI?

La riproducibilità. Un ingegnere deve essere in grado di innescare lo stesso comportamento basandosi solo sulla descrizione, il che richiede prompt esatti, precondizioni, comportamento atteso rispetto a quello effettivo e affidabilità della riproduzione.

Dovrei misurare il red teaming in base al numero di risultati?

No. Contare i risultati premia il volume nelle classi di attacco più semplici e produce molte variazioni di una debolezza di base. Specifica e misura invece la copertura.

Perché il red teaming multilingue è importante?

Perché le barriere di sicurezza spesso non si trasferiscono tra le lingue. Un modello testato solo in inglese può avere barriere di sicurezza completamente non testate per la maggior parte dei suoi utenti effettivi.