Red Teaming
Mutuato dal gergo militare, si riferisce all'insieme di tecniche utilizzate per rilevare vulnerabilità nelle applicazioni di Intelligenza Artificiale, attaccando il sistema con metodi manuali o automatici.
Read Teaming per Modelli di Linguaggio
Vulnerabilità
Mentre i benchmark come MMLU testano la conoscenza e le doti di ragionamento dei modelli di linguaggio, non ne testano la sicurezza. Non si vuole, per esempio che il modello generi:
- Contenuto tossico o offensivo
- Supporti attività criminali o illecite
- Support Bias e Stereotipi
- Abbia problemi di privacy e data leaking
Links
https://www.deeplearning.ai/short-courses/red-teaming-llm-applications/