Schița de curs
Ziua 1: Fundamente și Amenințări de Bază
Modulul 1: Introducere în Proiectul OWASP GenAI Security (1 oră)
Obiective de Învățare:
- Înțelegerea evoluției de la OWASP Top 10 la provocările de securitate specifice GenAI
- Explorarea ecosistemului și a resurselor Proiectului OWASP GenAI Security
- Identificarea diferențelor cheie între securitatea aplicațiilor tradiționale și securitatea AI
Subiecte Acoperite:
- Prezentare generală a misiunii și domeniului de aplicare al Proiectului OWASP GenAI Security
- Introducere în cadrul Threat Defense COMPASS
- Înțelegerea peisajului de securitate AI și a cerințelor de reglementare
- Suprafețe de atac AI vs. vulnerabilitățile aplicațiilor web tradiționale
Exercițiu Practic: Configurarea instrumentului OWASP Threat Defense COMPASS și efectuarea unei evaluări inițiale a amenințărilor
Modulul 2: OWASP Top 10 pentru LLM - Partea 1 (2,5 ore)
Obiective de Învățare:
- Stăpânirea primelor cinci vulnerabilități critice ale LLM
- Înțelegerea vectorilor de atac și a tehnicilor de exploatare
- Aplicarea strategiilor practice de atenuare
Subiecte Acoperite:
LLM01: Injecție de Prompt
- Tehnici de injecție directă și indirectă de prompt
- Atacuri cu instrucțiuni ascunse și contaminare între prompturi
- Exemple practice: Jailbreaking pentru roboți de chat și ocolirea măsurilor de siguranță
- Strategii de apărare: Sanitizarea intrărilor, filtrarea prompturilor, confidențialitate diferențială
LLM02: Dezvăluirea Informațiilor Sensibile
- Extragerea datelor de antrenament și scurgerea prompturilor de sistem
- Analiza comportamentului modelului pentru expunerea informațiilor sensibile
- Implicații privind confidențialitatea și considerente de conformitate reglementară
- Atenuare: Filtrarea ieșirilor, controale de acces, anonimizarea datelor
LLM03: Vulnerabilități ale Lanțului de Aprovizionare
- Dependențe de modele terțe și securitatea plugin-urilor
- Seturi de date de antrenament compromise și otrăvirea modelelor
- Evaluarea riscurilor furnizorilor pentru componentele AI
- Practici sigure de implementare și verificare a modelelor
Exercițiu Practic: Demonstrație practică a atacurilor de injecție de prompt împotriva aplicațiilor LLM vulnerabile și implementarea măsurilor defensive
Modulul 3: OWASP Top 10 pentru LLM - Partea 2 (2 ore)
Subiecte Acoperite:
LLM04: Otrăvirea Datelor și a Modelelor
- Tehnici de manipulare a datelor de antrenament
- Modificarea comportamentului modelului prin intrări otrăvite
- Atacuri backdoor și verificarea integrității datelor
- Prevenție: Conducte de validare a datelor, urmărirea provenienței
LLM05: Gestionarea Incorectă a Ieșirilor
- Procesarea nesigură a conținutului generat de LLM
- Injecție de cod prin ieșiri generate de AI
- Cross-site scripting prin răspunsuri AI
- Cadre de validare și sanitizare a ieșirilor
Exercițiu Practic: Simularea atacurilor de otrăvire a datelor și implementarea mecanismelor robuste de validare a ieșirilor
Modulul 4: Amenințări Avansate LLM (1,5 ore)
Subiecte Acoperite:
LLM06: Agenție Excesivă
- Riscuri ale deciziilor autonome și încălcări ale limitelor
- Managementul autorității și permisiunilor agentului
- Interacțiuni neintenționate ale sistemului și escaladarea privilegiilor
- Implementarea gardurilor de protecție și a controalelor de supraveghere umană
LLM07: Scurgerea Prompturilor de Sistem
- Vulnerabilități de expunere a instrucțiunilor de sistem
- Dezvăluirea credențialelor și a logicii prin prompturi
- Tehnici de atac pentru extragerea prompturilor de sistem
- Securizarea instrucțiunilor de sistem și a configurației externe
Exercițiu Practic: Proiectarea arhitecturilor sigure pentru agenți cu controale de acces și monitorizare adecvate
Ziua 2: Amenințări Avansate și Implementare
Modulul 5: Amenințări Emergente AI (2 ore)
Obiective de Învățare:
- Înțelegerea amenințărilor de securitate AI de ultimă oră
- Implementarea tehnicilor avansate de detectare și prevenire
- Proiectarea sistemelor AI reziliente împotriva atacurilor sofisticate
Subiecte Acoperite:
LLM08: Vulnerabilități ale Vectorilor și Încorporărilor
- Vulnerabilități ale sistemelor RAG și securitatea bazelor de date vectoriale
- Otrăvirea încorporărilor și atacuri de manipulare a similarității
- Exemple adversariale în căutarea semantică
- Securizarea magaziilor vectoriale și implementarea detectării de anomalii
LLM09: Dezinformarea și Fiabilitatea Modelelor
- Detectarea și atenuarea halucinațiilor
- Amplificarea părtinirilor și considerente de echitate
- Mecanisme de verificare a faptelor și a surselor
- Integrarea validării conținutului și a supravegherii umane
LLM10: Consum Nelimitat
- Atacuri de epuizare a resurselor și denial-of-service
- Strategii de limitare a ratei și managementul resurselor
- Optimizarea costurilor și controalele bugetare
- Sisteme de monitorizare și alertare a performanței
Exercițiu Practic: Construirea unui pipeline RAG sigur cu protecția bazei de date vectoriale și detectarea halucinațiilor
Modulul 6: Securitatea AI Agentic (2 ore)
Obiective de Învățare:
- Înțelegerea provocărilor unice de securitate ale agenților AI autonomi
- Aplicarea taxonomiei OWASP Agentic AI la sisteme din viața reală
- Implementarea controalelor de securitate pentru medii multi-agent
Subiecte Acoperite:
- Introducere în AI Agentic și sisteme autonome
- Taxonomia Amenințărilor OWASP Agentic AI: Proiectarea Agentului, Memoria, Planificarea, Utilizarea Instrumentelor, Implementarea
- Securitatea sistemelor multi-agent și riscurile de coordonare
- Atacuri de utilizare greșită a instrumentelor, otrăvirea memoriei și deturnarea obiectivelor
- Securizarea comunicării și a proceselor de decizie ale agenților
Exercițiu Practic: Exercițiu de modelare a amenințărilor folosind taxonomia OWASP Agentic AI pe un sistem multi-agent de servicii pentru clienți
Modulul 7: Implementarea OWASP Threat Defense COMPASS (2 ore)
Obiective de Învățare:
- Stăpânirea aplicării practice a Threat Defense COMPASS
- Integrarea evaluării amenințărilor AI în programele de securitate organizaționale
- Dezvoltarea unor strategii cuprinzătoare de gestionare a riscurilor AI
Subiecte Acoperite:
- Analiză aprofundată a metodologiei Threat Defense COMPASS
- Integrarea Buclei OODA: Observa, Orientează, Decide, Acționează
- Maparea amenințărilor la cadrele MITRE ATT&CK și ATLAS
- Construirea de tablouri de bord pentru strategia de rezistență la amenințări AI
- Integrarea cu instrumentele și procesele de securitate existente
Exercițiu Practic: Evaluare completă a amenințărilor folosind COMPASS pentru un scenariu de implementare Microsoft Copilot
Modulul 8: Implementare Practică și Cele Mai Bune Practici (2,5 ore)
Obiective de Învățare:
- Proiectarea arhitecturilor sigure AI de la zero
- Implementarea monitorizării și răspunsului la incidente pentru sistemele AI
- Crearea cadrelor de guvernanță pentru securitatea AI
Subiecte Acoperite:
Ciclu de Dezvoltare Sigură AI:
- Principii de securitate prin design pentru aplicațiile AI
- Practici de revizuire a codului pentru integrările LLM
- Metodologii de testare și scanarea vulnerabilităților
- Securizarea implementării și consolidarea producției
Monitorizare și Detectare:
- Cerințe de înregistrare și monitorizare specifice AI
- Detectarea anomaliilor pentru sistemele AI
- Proceduri de răspuns la incidente pentru evenimente de securitate AI
- Tehnici de investigare și criminalistică
Guvernanță și Conformitate:
- Cadre de gestionare a riscurilor AI și politici
- Considerente de conformitate reglementară (GDPR, Legea AI, etc.)
- Evaluarea riscurilor terților pentru furnizorii AI
- Training de conștientizare a securității pentru echipele de dezvoltare AI
Exercițiu Practic: Proiectarea unei arhitecturi de securitate complete pentru un chatbot AI de întreprindere, inclusiv monitorizare, guvernanță și proceduri de răspuns la incidente
Modulul 9: Instrumente și Tehnologii (1 oră)
Obiective de Învățare:
- Evaluarea și implementarea instrumentelor de securitate AI
- Înțelegerea peisajului actual al soluțiilor de securitate AI
- Construirea capabilităților practice de detectare și prevenire
Subiecte Acoperite:
- Ecosistemul instrumentelor de securitate AI și peisajul furnizorilor
- Instrumente open-source de securitate: Garak, PyRIT, Giskard
- Soluții comerciale pentru securitatea și monitorizarea AI
- Modele de integrare și strategii de implementare
- Criterii de selecție și cadre de evaluare a instrumentelor
Exercițiu Practic: Demonstrație practică a instrumentelor de testare a securității AI și planificarea implementării
Modulul 10: Tendințe Viitoare și Încheiere (1 oră)
Obiective de Învățare:
- Înțelegerea amenințărilor emergente și a provocărilor de securitate viitoare
- Dezvoltarea strategiilor de învățare continuă și îmbunătățire
- Crearea de planuri de acțiune pentru programele organizaționale de securitate AI
Subiecte Acoperite:
- Amenințări emergente: Deepfake-uri, injecție avansată de prompt, inversarea modelelor
- Dezvoltări viitoare ale proiectului OWASP GenAI și plan de implementare
- Construirea comunităților de securitate AI și partajarea cunoștințelor
- Îmbunătățire continuă și integrarea informațiilor despre amenințări
Exercițiu de Planificare: Dezvoltarea unui plan de acțiune de 90 de zile pentru implementarea practicilor de securitate OWASP GenAI în organizațiile participanților
Cerințe
- Înțelegere generală a principiilor de securitate a aplicațiilor web
- Familiarizare de bază cu conceptele de AI/ML
- Experiență preferată în cadrul metodelor de evaluare a riscurilor sau a cadrelor de securitate
Audiență
- Profesioniști în domeniul securității cibernetice
- Dezvoltatori AI
- Arhitecți de sisteme
- Responsabili de conformitate
- Practicieni în domeniul securității
Mărturii (1)
Mi-a plăcut foarte mult să învăț despre atacurile de IA și despre instrumentele disponibile pentru a începe să exersez și să le folosesc în mod activ pentru testarea securității. Am acumulat o mulțime de cunoștințe pe care nu le aveam la început, iar cursul a îndeplinit ceea ce speram. Partea mea preferată din training a fost Comet Browser și am fost uimit de ceea ce poate face. Cu siguranță este ceva ce voi explora mai mult. În general, a fost un curs excelent și m-am bucurat să învăț totul despre OWASP GenAI Top 10.
Patrick Collins - Optum
Curs - OWASP GenAI Security
Tradus de catre o masina
