Curs de pregatire Securitate OWASP GenAI

Ziua 1: Fundamente și Amenințări Principale

Modulul 1: Introducere în Proiectul OWASP GenAI Security (1 oră)

Obiective de învățare:

• Să înțeleagă evoluția de la OWASP Top 10 către provocările de securitate specifice GenAI
• Să exploreze ecosistemul și resursele Proiectului OWASP GenAI Security
• Să identifice diferențele cheie dintre securitatea aplicațiilor tradiționale și securitatea AI

Subiecte acoperite:

• Scurt prezentare a misiunii și domeniului de aplicare al Proiectului OWASP GenAI Security
• Introducere în cadrul Threat Defense COMPASS
• Înțelegerea peisajului securității AI și a cerințelor de reglementare
• Amenințările specifice AI vs. vulnerabilitățile aplicațiilor web tradiționale

Exercițiu practic: Configurarea instrumentului OWASP Threat Defense COMPASS și efectuarea unei evaluări inițiale a amenințărilor

Modulul 2: OWASP Top 10 pentru LLM - Partea 1 (2,5 ore)

Obiective de învățare:

• Să stăpânească primele cinci vulnerabilități critice ale LLM
• Să înțeleagă vectorii de atac și tehnicile de exploatare
• Să aplice strategii practice de mitigare

Subiecte acoperite:

LLM01: Injectarea de prompturi (Prompt Injection)

• Tehnici directe și indirecte de injectare a prompturilor
• Atacuri cu instrucțiuni ascunse și contaminare încrucișată între prompturi
• Exemple practice: Jailbreaking-ul chatboaturilor și ocolirea măsurilor de siguranță
• Strategii de apărare: Sanitizarea input-ului, filtrarea prompturilor, confidențialitatea diferențială

LLM02: Divulgarea informațiilor sensibile

• Extracția datelor de antrenament și scurgerea prompt-ului sistemului
• Analiza comportamentului modelului pentru expunerea informațiilor sensibile
• Implicațiile privind confidențialitatea și considerațiile de conformitate reglementară
• Mitigare: Filtarea output-ului, controale de acces, anonimizarea datelor

LLM03: Vulnerabilități în lanțul de aprovizionare (Supply Chain)

• Dependențe de modele terțe și securitatea plugin-urilor
• Dataset-uri de antrenament compromise și otrăvirea modelului
• Evaluarea riscurilor furnizorilor pentru componentele AI
• Practici sigure de implementare și verificare a modelelor

Exercițiu practic: Lab practico demonstrând atacuri de injectare a prompturilor asupra aplicațiilor LLM vulnerabile și implementarea măsurilor defensive

Modulul 3: OWASP Top 10 pentru LLM - Partea 2 (2 ore)

Subiecte acoperite:

LLM04: Otrăvirea datelor și a modelului

• Tehnici de manipulare a datelor de antrenament
• Modificarea comportamentului modelului prin input-uri otrăvite
• Atacuri cu poartă din spate și verificare a integrității datelor
• Prevenție: Pipeline-uri de validare a datelor, urmărirea provenienței

LLM05: Gestionarea incorectă a output-ului

• Procesarea nesigură a conținutului generat de LLM
• Injectare de cod prin output-uri generate de AI
• Cross-site scripting (XSS) prin răspunsurile AI
• Framework-uri de validare și sanitizare a output-ului

Exercițiu practic: Simularea atacurilor de otrăvire a datelor și implementarea mecanismelor robuste de validare a output-ului

Modulul 4: Amenințări Avansate pentru LLM (1,5 ore)

Subiecte acoperite:

LLM06: Agenție excesivă (Excessive Agency)

• Riscurile decizionalității autonome și încălcarea limitelor
• Gestionarea autorității și permisiunilor agentului
• Interacțiuni nesolicitate cu sistemul și escaladarea privilegiilor
• Implementarea gardurilor de protecție (guardrails) și a controalelor de supraveghere umană

LLM07: Scurgerea prompt-ului sistemului (System Prompt Leakage)

• Vulnerabilități legate de expunerea instrucțiunilor de sistem
• Divulgarea acreditivelor și logicii prin prompt-uri
• Tehnici de atac pentru extragerea prompt-urilor de sistem
• Securizarea instrucțiunilor de sistem a configurațiilor externe

Exercițiu practic: Desenarea unor arhitecturi sigure pentru agenți cu controale de acces adecvate și monitorizare

Ziua 2: Amenințări Avansate și Implementare

Modulul 5: Amenințări Emergente AI (2 ore)

Obiective de învățare:

• Să înțeleagă amenințările de vârf ale securității AI
• Să implementeze tehnici avansate de detectare și prevenție
• Să proiecteze sisteme AI rezistente la atacuri sofisticate

Subiecte acoperite:

LLM08: Vulnerabilități ale vectorilor și embedding-urilor

• Vulnerabilitățile sistemelor RAG și securitatea bazelor de date vectoriale
• Otrăvirea embedding-urilor și atacurile de manipulare a similitudinii
• Exemple adversare în căutarea semantică
• Securizarea depozitelor de vectori și implementarea detectării anomaliilor

LLM09: Dezinformare și fiabilitatea modelului

• Detectarea și mitigarea halucinațiilor
• Amplificarea bias-ului și considerații privind echitatea
• Mecanisme de verificare a faptelor și a surselor
• Validarea conținutului și integrarea supravegherii umane

LLM10: Consum nelimitat (Unbounded Consumption)

• Alocarea excesivă de resurse și atacuri de tip denial-of-service
• Strategii de limitare a ratelor (rate limiting) și gestionare a resurselor
• Optimizarea costurilor și controalele bugetare
• Sisteme de monitorizare a performanței și alertare

Exercițiu practic: Construirea unui pipeline RAG securizat cu protecție a bazei de date vectoriale și detectarea halucinațiilor

Modulul 6: Securitatea AI Agentic (2 ore)

Obiective de învățare:

• Să înțeleagă provocările unice de securitate ale agenților AI autonomi
• Să aplice taxonomia OWASP pentru AI Agentic la sistemele din practică
• Să implementeze controale de securitate pentru medii multi-agent

Subiecte acoperite:

• Introducere în AI Agentic și sistemele autonome
• Taxonomia OWASP a Amenințărilor pentru AI Agentic: Designul Agentului, Memoria, Planificarea, Utilizarea Instrumentelor, Implementarea
• Scurietatea sistemelor multi-agent și riscurile de coordonare
• Atacuri prin utilizarea incorectă a instrumentelor, otrăvirea memoriei și preluarea obiectivelor (goal hijacking)
• Securizarea comunicării agentului și a proceselor de luare a deciziilor

Exercițiu practic: Exercitiu de modelare a amenințărilor folosind taxonomia OWASP pentru AI Agentic asupra unui sistem multi-agent de asistență clienți

Modulul 7: Implementarea Threat Defense COMPASS (2 ore)

Obiective de învățare:

• Să stăpânească aplicarea practică a Threat Defense COMPASS
• Să integreze evaluarea amenințărilor AI în programele organizaționale de securitate
• Să dezvolte strategii comprehensive de gestionare a riscurilor AI

Subiecte acoperite:

• Aprofundarea metodologiei Threat Defense COMPASS
• Integrarea ciclului OODA (Observ, Orient, Decide, Acționează)
• Mapparea amenințărilor la cadrele MITRE ATT&CK și ATLAS
• Construirea dashboard-urilor pentru Strategia de Reziliență a Amenințărilor AI
• Integrarea cu instrumentele și procesele existente de securitate

Exercițiu practic: Evaluare completă a amenințărilor folosind COMPASS pentru un scenariu de implementare Microsoft Copilot

Modulul 8: Implementare Practică și Bune Practici (2,5 ore)

Obiective de învățare:

• Să proiecteze arhitecturi AI sigure de la zero
• Să implementeze monitorizare și răspuns la incidente pentru sistemele AI
• Să creeze cadre de guvernare pentru securitatea AI

Subiecte acoperite:

Ciclul de Dezvoltare Securizat al AI:

• Principii de securitate prin design pentru aplicațiile AI
• Practici de review al codului pentru integrările LLM
• Metodologii de testare și scannarea vulnerabilităților
• Securizarea implementării și întărirea (hardening) în producție

Monitorizare și Detectare:

• Cerințe specifice AI pentru jurnalizare și monitorizare
• Detectarea anomaliilor pentru sistemele AI
• Proceduri de răspuns la incidente pentru evenimente de securitate AI
• Tehnici de analiză forenlică și investigație

Guvernare și Conformitate:

• Cadre și politici de gestionare a riscurilor AI
• Considerații privind conformitatea reglementară (GDPR, AI Act, etc.)
• Evaluarea riscurilor terților pentru furnizorii AI
• Formarea conștientizării securității pentru echipele de dezvoltare AI

Exercițiu practic: Proiectarea unei arhitecturi complete de securitate pentru un chatbot enterprise AI, incluzând monitorizare, guvernare și proceduri de răspuns la incidente

Modulul 9: Instrumente și Tehnologii (1 oră)

Obiective de învățare:

• Evaluarea și implementarea instrumentelor de securitate AI
• Să înțeleagă peisajul actual al soluțiilor de securitate AI
• Să construiască capacități practice de detectare și prevenție

Subiecte acoperite:

• Ecosistemul instrumentelor de securitate AI și landscape-ul furnizorilor
• Instrumente open-source de securitate: Garak, PyRIT, Giskard
• Soluții comerciale pentru securitatea și monitorizarea AI
• Șabloane de integrare și strategii de implementare
• Criteriile de selecție a instrumentelor și cadrele de evaluare

Exercițiu practic: Demonstrație practică a instrumentelor de testare a securității AI și planificarea implementării

Modulul 10: Trecuturi Viitoare și Încheiere (1 oră)

Obiective de învățare:

• Să înțeleagă amenințările emergente și provocările viitoare de securitate
• Să dezvolte strategii de învățare continuă și îmbunătățire
• Să creeze planuri de acțiune pentru programele organizaționale de securitate AI

Subiecte acoperite:

• Amenințări emergente: Deepfakes, injectare avansată de prompturi, inversarea modelelor (model inversion)
• Dezvoltări viitoare ale proiectului OWASP GenAI și roadmap
• Construirea comunităților AI security și schimb de cunoștințe
• Îmbunătățirea continuă și integrarea inteligenței privind amenințările

Exercițiu de Planificare a Acțiunii: Dezvoltarea unui plan de acțiune pe 90 de zile pentru implementarea practicilor OWASP GenAI Security în organizațiile participanților