Schița de curs
Introducere în Red Teaming AI
- Înțelegerea peisajului de amenințări AI
- Rolurile echipelor roșii în securitatea AI
- Considerații etice și legale
Învățarea Automată Adversă
- Tipuri de atacuri: evaziune, otrăvire, extracție, inferență
- Generarea de exemple adverse (de ex., FGSM, PGD)
- Atacuri țintite vs nețintite și metrici de succes
Testarea Robusteței Modelului
- Evaluarea robusteței sub perturbații
- Explorarea punctelor slabe și a modurilor de eșec ale modelului
- Testarea de stres a modelelor de clasificare, viziune și NLP
Red Teaming în Fluxurile AI
- Suprafața de atac a fluxurilor AI: date, model, implementare
- Exploatarea API-urilor și punctelor finale nesigure ale modelului
- Ingineria inversă a comportamentului și a rezultatelor modelului
Simulare și Instrumente
- Utilizarea Adversarial Robustness Toolbox (ART)
- Red teaming cu instrumente precum TextAttack și IBM ART
- Instrumente de sandboxing, monitorizare și observabilitate
Strategia Red Teaming AI și Colaborarea de Apărare
- Dezvoltarea exercițiilor și obiectivelor echipei roșii
- Comunicarea constatărilor către echipele albastre
- Integrarea red teaming-ului în managementul riscurilor AI
Rezumat și Pași Următori
Cerințe
- Înțelegerea arhitecturilor de învățare automată și învățare profundă
- Experiență cu Python și framework-uri de ML (de ex., TensorFlow, PyTorch)
- Familiaritate cu concepte de securitate cibernetică sau tehnici de securitate ofensivă
Publicul țintă
- Cercetători în domeniul securității
- Echipe de securitate ofensivă
- Profesioniști în asigurarea AI și red team
Mărturii (2)
Mi-a plăcut foarte mult să învăț despre atacurile de IA și despre instrumentele disponibile pentru a începe să exersez și să le folosesc în mod activ pentru testarea securității. Am acumulat o mulțime de cunoștințe pe care nu le aveam la început, iar cursul a îndeplinit ceea ce speram. Partea mea preferată din training a fost Comet Browser și am fost uimit de ceea ce poate face. Cu siguranță este ceva ce voi explora mai mult. În general, a fost un curs excelent și m-am bucurat să învăț totul despre OWASP GenAI Top 10.
Patrick Collins - Optum
Curs - OWASP GenAI Security
Tradus de catre o masina
Cunoașterea profesională și modul în care ne-a prezentat-o
Miroslav Nachev - PUBLIC COURSE
Curs - Cybersecurity in AI Systems
Tradus de catre o masina