Curs de pregatire OWASP GenAI Security

Ziua 1: Fundamente și Amenințări Centrale

Modulul 1: Introducere în OWASP GenAI Security Project (1 oră)

Obiective de învățare:

• Înțelegerea evoluției de la OWASP Top 10 la provocările de securitate specifice GenAI
• Explorarea ecosistemului și a resurselor OWASP GenAI Security Project
• Identificarea diferențelor cheie dintre securitatea aplicațiilor tradiționale și securitatea AI

Subiecte acoperite:

• Prezentarea misiunii și a domeniului OWASP GenAI Security Project
• Introducere în framework-ul Threat Defense COMPASS
• Înțelegerea peisajului securității AI și a cerințelor reglementative
• Suprafețele de atac AI vs. vulnerabilitățile aplicațiilor web tradiționale

Exercițiu practic: Configurarea instrumentului OWASP Threat Defense COMPASS și efectuarea unei evaluări inițiale a amenințărilor

Modulul 2: OWASP Top 10 pentru LLM-uri - Partea 1 (2.5 ore)

Obiective de învățare:

• Pătrunderea în primele cinci vulnerabilități critice ale LLM-urilor
• Înțelegerea vectorilor de atac și a tehnicilor de exploatare
• Aplicarea strategiilor practice de mitigare

Subiecte acoperite:

LLM01: Prompt Injection

• Tehnici de prompt injection direct și indirect
• Atacuri cu instrucțiuni ascunse și contaminare între prompt-uri
• Exemple practice: jailbreaking-ul chatboturilor și ocolirea măsurilor de siguranță
• Strategii de apărare: sanitizarea intrărilor, filtrarea prompt-urilor, privacitatea diferențială

LLM02: Divulgarea Informațiilor Sensibile

• Extracția datelor de antrenament și scurgerea prompt-urilor de sistem
• Analiza comportamentului modelului pentru expunerea informațiilor sensibile
• Implicații privind confidențialitatea și conformitatea reglementară
• Mitigare: filtrarea ieșirilor, controale de acces, anonimizarea datelor

LLM03: Vulnerabilități în Lanțul de Furnizare (Supply Chain)

• Dependențe de modele terțe și securitatea plugin-urilor
• Seturi de date de antrenament compromise și otrăvirea modelelor (model poisoning)
• Evaluarea riscurilor vendor pentru componentele AI
• Practici sigure de implementare și verificare a modelelor

Exercițiu practic: Lab hands-on demonstrând atacuri de prompt injection împotriva aplicațiilor LLM vulnerabile și implementând măsuri defensive

Modulul 3: OWASP Top 10 pentru LLM-uri - Partea 2 (2 ore)

Subiecte acoperite:

LLM04: Otrăvirea Datelor și a Modelelor

• Tehnici de manipulare a datelor de antrenament
• Modificarea comportamentului modelului prin intrări otrăvite
• Atacuri backdoor și verificarea integrității datelor
• Prevenire: pipe de validare a datelor, trasabilitatea provenienței (provenance tracking)

LLM05: Gestionare Inadecvată a Ieșirilor

• Procesare nesigură a conținutului generat de LLM
• Injecție de cod prin ieșirile generate de AI
• Scripting între site-uri (XSS) prin răspunsuri AI
• Framework-uri de validare și sanitizare a ieșirilor

Exercițiu practic: Simularea atacurilor de data poisoning și implementarea mecanismelor robuste de validare a ieșirilor

Modulul 4: Amenințări LLM Avansate (1.5 ore)

Subiecte acoperite:

LLM06: Agenție Excesivă

• Riscuri în luarea deciziilor autonome și încălcarea limitelor
• Gestionarea autorității și a permisiunilor agentului
• Interacțiuni nedorite ale sistemului și escaladarea privilegiilor
• Implementarea guardrail-urilor și a controalelor de supraveghere umană

LLM07: Scurgerea Prompt-ului de Sistem

• Vulnerabilități de expunere a instrucțiunilor de sistem
• Divulgarea credențialelor și a logicii prin prompt-uri
• Tehnici de atac pentru extragerea prompt-urilor de sistem
• Securizarea instrucțiunilor de sistem și a configurației externe

Exercițiu practic: Proiectarea arhitecturilor de agent sigure cu controale adecvate de acces și monitorizare

Ziua 2: Amenințări Avansate și Implementare

Modulul 5: Amenințări AI Emergente (2 ore)

Obiective de învățare:

• Înțelegerea amenințărilor de securitate AI de ultimă oră
• Implementarea tehnicilor avansate de detectare și prevenire
• Proiectarea sistemelor AI reziliente împotriva atacurilor rafinate

Subiecte acoperite:

LLM08: Slăbiciuni în Vectori și Embedding-uri

• Vulnerabilitățile sistemelor RAG și securitatea bazelor de date vectoriale
• Otrăvirea embedding-urilor și atacuri de manipulare a similitudinii
• Exemple adversare în căutarea semantică
• Securizarea magazinelor de vectori și implementarea detectării anomaliilor

LLM09: Dezinformarea și Fiabilitatea Modelelor

• Detectarea și mitigarea halucinațiilor
• Amplificarea bias-ului și considerente de echitate
• Mecanisme de verificarea adevărului (fact-checking) și validarea surselor
• Validarea conținutului și integrarea supravegherii umane

LLM10: Consum Ilimitat

• Epuierea resurselor și atacurile de tip deny-of-service
• Strategii de limitare a ratelor (rate limiting) și gestionare a resurselor
• Optimizarea costurilor și controalele bugetare
• Sisteme de monitorizare a performanței și alertare

Exercițiu practic: Construirea unui pipeline RAG securizat cu protejarea bazei de date vectoriale și detectarea halucinațiilor

Modulul 6: Securitatea AI Agentic (2 ore)

Obiective de învățare:

• Înțelegerea provocărilor unice de securitate ale agenților AI autonomi
• Aplicarea taxonomiei OWASP Agentic AI la sisteme din lumea reală
• Implementarea controalelor de securitate pentru medii multi-agent

Subiecte acoperite:

• Introducere în AI Agentic și sisteme autonome
• Taxonomia Amenințărilor OWASP Agentic AI: Design Agent, Memorie, Planificare, Utilizarea Instrumentelor, Implementare
• Securitatea și riscurile de coordonare în sistemele multi-agent
• Abuzul instrumentelor, otrăvirea memoriei și atacuri de răsfoirea obiectivelor (goal hijacking)
• Securizarea comunicării agenților și a proceselor de luare a deciziilor

Exercițiu practic: Exercițiu de threat modeling folosind taxonomia OWASP Agentic AI pe un sistem de service client multi-agent

Modulul 7: Implementarea OWASP Threat Defense COMPASS (2 ore)

Obiective de învățare:

• Pătrunderea în aplicarea practică a Threat Defense COMPASS
• Integrarea evaluării amenințărilor AI în programele de securitate organizaționale
• Dezvoltarea strategiilor comprehensive de gestionare a riscurilor AI

Subiecte acoperite:

• Analiză detaliată a metodologiei Threat Defense COMPASS
• Integrarea buclei OODA: Observă, Oriențează, Decide, Acționează
• Maparea amenințărilor pe framework-urile MITRE ATT&CK și ATLAS
• Construirea Dashboard-urilor de Strategie de Reziliență la Amenințări AI
• Integrarea cu instrumentele și procesele existente de securitate

Exercițiu practic: Realizarea unei evaluări complete a amenințărilor folosind COMPASS pentru un scenariu de implementare Microsoft Copilot

Modulul 8: Implementare Practică și Bune Practici (2.5 ore)

Obiective de învățare:

• Proiectarea arhitecturilor AI sigure din zero
• Implementarea monitorizării și a incident response-ului pentru sisteme AI
• Creația cadrelor de governance pentru securitatea AI

Subiecte acoperite:

Ciclul de Viață al Dezvoltării Sigure a AI:

• Principiile security-by-design pentru aplicațiile AI
• Practici de code review pentru integrările LLM
• Metodologii de testare și scanare vulnerabilități
• Securitatea implementării și hardening-ul în producție

Monitorizare și Detectare:

• Cerințe specifice AI pentru logging și monitorizare
• Detectarea anomaliilor pentru sisteme AI
• Proceduri de incident response pentru evenimente de securitate AI
• Tehnici de forensică și investigație

Governance și Compliance:

• Framework-uri și politici de gestionare a riscurilor AI
• Considerente de conformitate reglementară (GDPR, AI Act, etc.)
• Evaluarea riscurilor terțe pentru furnizorii AI
• Training de conștientizare a securității pentru echipele de dezvoltare AI

Exercițiu practic: Proiectarea unei arhitecturi complete de securitate pentru un chatbot AI enterprise, inclusiv monitorizare, governance și proceduri de incident response

Modulul 9: Instrumente și Tehnologii (1 oră)

Obiective de învățare:

• Evaluarea și implementarea instrumentelor de securitate AI
• Înțelegerea peisajului actual al soluțiilor de securitate AI
• Construirea capacităților practice de detectare și prevenire

Subiecte acoperite:

• Ecosistemul de instrumente de securitate AI și peisajul vendor
• Instrumente open-source de securitate: Garak, PyRIT, Giskard
• Soluții comerciale pentru securitate și monitorizare AI
• Modele de integrare și strategii de implementare
• Criterii de selecție a instrumentelor și framework-uri de evaluare

Exercițiu practic: Demonstrație hands-on a instrumentelor de testare a securității AI și planificarea implementării

Modulul 10: Tendețe Viitoare și Concluzii (1 oră)

Obiective de învățare:

• Înțelegerea amenințărilor emergente și a provocărilor de securitate viitoare
• Dezvoltarea strategiilor de învățare continuă și îmbunătățire
• Creația planurilor de acțiune pentru programele de securitate AI organizaționale

Subiecte acoperite:

• Amenințări emergente: Deepfake, prompt injection avansat, inversiunea modelului
• Dezvoltările viitoare și roadmap-ul proiectului OWASP GenAI
• Construirea comunităților de securitate AI și partajarea cunoștințelor
• Îmbunătățire continuă și integrarea inteligenței de amenințări

Exercițiu de Planificare: Dezvoltarea unui plan de acțiune pe 90 de zile pentru implementarea practicilor de securitate OWASP GenAI în organizațiile participanților