Mulțumim pentru trimiterea solicitării! Un membru al echipei noastre vă va contacta în curând.
Mulțumim pentru trimiterea rezervării! Un membru al echipei noastre vă va contacta în curând.
Schița de curs
Ziua 1: Fundamente și Amenințări Principale
Modul 1: Introducere în Proiectul OWASP GenAI Security (1 oră)
Obiective de învățare:
- Înțelegerea evoluției de la OWASP Top 10 la provocările specifice securității GenAI
- Explorarea ecosistemului și resurselor proiectului OWASP GenAI Security Project
- Identificarea principalelor diferențe dintre securitatea tradițională a aplicațiilor și securitatea AI
Teme abordate:
- Prezentarea misiunii și domeniului de aplicare a proiectului OWASP GenAI Security
- Introducere în cadrul Threat Defense COMPASS
- Înțelegerea peisajului de securitate AI și cerințelor reglementare
- Suprafețile de atac ale AI vs vulnerabilitățile tradiționale ale aplicațiilor web
Exercițiu Practic: Setarea instrumentului OWASP Threat Defense COMPASS și efectuarea unei evaluări inițiale a amenințărilor
Modul 2: OWASP Top 10 pentru LLMs - Partea 1 (2.5 ore)
Obiective de învățare:
- Mâștarea primelor cinci vulnerabilități critice ale LLM
- Înțelegerea vectorilor de atac și tehnicilor de exploatare
- Aplicarea strategiilor practice de mitigație
Teme abordate:
LLM01: Injecția Promptului
- Tehnici de injecție directă și indirectă a promptului
- Atacuri cu instrucțiuni ascunse și contaminare trans-prompt
- Exemple practice: Încercarea de evadare a chatbot-urilor și depășirea măsurilor de siguranță
- Strategii de apărare: Sanitarizarea inputului, filtrarea promptului, confidențialitate diferențială
LLM02: Divulgarea Informațiilor Sensibile
- Extragerea datelor de instruire și divulgarea promptului sistemului
- Analiza comportamentului modelului pentru expunerea informațiilor sensibile
- Implicații privind confidențialitatea și considerentele de conformitate reglementară
- Mitigație: Filtrarea outputului, controale de acces, anonimizarea datelor
LLM03: Vulnerabilități ale Lantului de Aprovizionare
- Dependențele terțe pentru modele și securitatea plugin-urilor
- Datele de instruire compromise și intoxicarea modelului
- Evaluarea riscului furnizorilor pentru componente AI
- Practici de implementare și verificare a modelelor sigure
Exercițiu Practic: Demonstrație practică a atacurilor prin injecția promptului împotriva aplicațiilor LLM vulnerabile și implementarea măsurilor defensive
Modul 3: OWASP Top 10 pentru LLMs - Partea 2 (2 ore)
Teme abordate:
LLM04: Intoxicația Datelor și a Modelului
- Tehnici de manipulare a datelor de instruire
- Modificarea comportamentului modelului prin inputuri intoxicate
- Atacuri cu backdoor și verificarea integrității datelor
- Prevenire: Pipeline-uri de validare a datelor, urmărirea provenienței
LLM05: Gestionarea Incorectă a Outputului
- Procesarea insecură a conținutului generat de LLM
- Injecția codului prin output-urile generate de AI
- Cross-site scripting prin răspunsurile AI
- Cadre de validare și sanitarizare a outputului
Exercițiu Practic: Simularea atacurilor prin intoxicația datelor și implementarea mecanismelor robuste de validare a outputului
Modul 4: Amenințări Avansate ale LLM (1.5 ore)
Teme abordate:
LLM06: Agenție Excesivă
- Riscuri legate de decizii autonome și încălcarea granițelor
- Gestionarea autorității și permisiunilor agentului
- Interacțiuni neintenționale ale sistemului și escaladarea privilegiilor
- Implementarea barierelor de apărare și controalelor de supraveghere umană
LLM07: Divulgarea Promptului Sistemului
- Vulnerabilități de expunere a instrucțiunilor sistemului
- Divulgarea credențialelor și a logicii prin prompt-uri
- Tehnici de atac pentru extragerea prompt-urilor sistemului
- Securizarea instrucțiunilor sistemului și configurării externe
Exercițiu Practic: Proiectare de arhitecturi sigure ale agentelor cu controale de acces adecvate și monitorizare
Ziua 2: Amenințări Avansate și Implementare
Modul 5: Amenințări AI Emergente (2 ore)
Obiective de învățare:
- Înțelegerea amenințărilor avansate din securitatea AI
- Implementarea tehnicilor avansate de detectare și prevenire
- Proiectarea sistemelor AI reziliente la atacurile sofisticate
Teme abordate:
LLM08: Slăbiciuni ale Vectorilor și a Embedding-urilor
- Vulnerabilitățile sistemelor RAG și securitatea bazelor de date vectoriale
- Intoxicația embedding-urilor și atacurile de manipulare a similarității
- Exemple adverze în căutarea semantică
- Securizarea magazinelor vectoriale și implementarea detectării anomaliilor
LLM09: Informații Falsificate și Fiabilitatea Modelului
- Detectarea și mitigația halucinațiilor
- Amplificarea bias-urilor și considerentele de echitate
- Mecanisme de verificare a faptelor și surselor
- Validația conținutului și integrarea supravegherii umane
LLM10: Consum Necontrolat
- Epuizarea resurselor și atacurile de refuz a serviciilor
- Strategii de limitare a ratei și gestionarea resurselor
- Optimizarea costurilor și controalele bugetare
- Monitorizarea performanței și sisteme de alertă
Exercițiu Practic: Construirea unui pipeline sigur RAG cu protecție a bazei de date vectoriale și detectare a halucinațiilor
Modul 6: Securitatea AI Agențială (2 ore)
Obiective de învățare:
- Înțelegerea provocărilor unice de securitate ale agentelor AI autonome
- Aplicarea taxonomiei OWASP Agentic AI la sisteme din lumea reală
- Implementarea controarelor de securitate pentru medii cu mai mulți agenți
Teme abordate:
- Introducere în AI Agențială și sistemele autonome
- Taxonomia OWASP Agentic AI: Design Agent, Memorie, Planificare, Utilizarea Instrumentelor, Implementare
- Securitatea sistemelor cu mai mulți agenți și riscurile de coordonare
- Abuzul instrumentelor, intoxicarea memoriei și atacurile de hijacking a obiectivelor
- Securizarea comunicării agentilor și proceselor decizionale
Exercițiu Practic: Exercițiu de modelare a amenințărilor folosind taxonomia OWASP Agentic AI pe un sistem de servicii clienți cu mai mulți agenți
Modul 7: Implementarea Threat Defense COMPASS (2 ore)
Obiective de învățare:
- Mâștarea aplicării practice a Threat Defense COMPASS
- Integrarea evaluării amenințărilor AI în programele de securitate ale organizației
- Dezvoltarea strategiilor comprehensive de gestionare a riscurilor AI
Teme abordate:
- Analiză profundă a metodologiei Threat Defense COMPASS
- Integrarea cu OODA Loop: Observare, Orări, Decizie, Acțiune
- Mapparea amenințărilor la cadrele MITRE ATT&CK și ATLAS
- Construirea dashboard-urilor de strategie a rezilienței amenințărilor AI
- Integrarea cu instrumentele și procesele de securitate existente
Exercițiu Practic: Evaluare completă a amenințărilor folosind COMPASS pentru un scenariu de implementare Microsoft Copilot
Modul 8: Implementarea și Cele Mai Bune Praxi (2.5 ore)
Obiective de învățare:
- Proiectarea arhitecturilor AI sigure din prima oră
- Implementarea monitorizării și răspunsului la incidente pentru sistemele AI
- Crearea cadrelor de guvernanță pentru securitatea AI
Teme abordate:
Ciclu de Dezvoltare Sigur AI:
- Principiile securității-by-design pentru aplicațiile AI
- Practici de revizuire a codului pentru integrările LLM
- Metodologii de testare și scanarea vulnerabilităților
- Securitatea implementării și hardening-ul producției
Monitorizare și Detectare:
- Requisitiile de logare și monitorizare specifice AI
- Detectarea anomaliilor pentru sistemele AI
- Proceduri de răspuns la incidente pentru evenimentele de securitate AI
- Tehnici de investigație și analiză forensică
Guvernanță și Conformitate:
- Cadre de gestionare a riscurilor AI și politici
- Considerente de conformitate reglementară (GDPR, AI Act, etc.)
- Evaluarea riscului terților pentru furnizorii AI
- Instruirea în domeniul securității pentru echipele de dezvoltare a AI
Exercițiu Practic: Proiectarea unei arhitecturi complete de securitate pentru un chatbot enterprise AI, inclusiv monitorizare, guvernanță și proceduri de răspuns la incidente
Modul 9: Instrumente și Tehnologii (1 oră)
Obiective de învățare:
- Evaluarea și implementarea instrumentelor de securitate AI
- Înțelegerea peisajului actual al soluțiilor de securitate AI
- Construirea capacităților practice de detectare și prevenire
Teme abordate:
- Ecosistemul instrumentelor de securitate AI și peisajul furnizorilor
- Instrumente open-source: Garak, PyRIT, Giskard
- Soluții comerciale pentru securitatea AI și monitorizarea
- Modele de integrare și strategii de implementare
- Criterii de selecție a instrumentelor și cadre de evaluare
Exercițiu Practic: Demonstrație practică a instrumentelor de testare a securității AI și planificarea implementării
Modul 10: Tendințe Viitoare și Concluzie (1 oră)
Obiective de învățare:
- Înțelegerea amenințărilor emergente și provocările viitoare de securitate
- Dezvoltarea strategiilor de învățare continuă și îmbunătățire
- Crearea planurilor de acțiune pentru programele de securitate AI ale organizației
Teme abordate:
- Amenințări emergente: Deepfakes, injecții avansate de prompt, inversarea modelului
- Dezvoltările și drumul viitoriu al proiectului OWASP GenAI Project
- Construirea comunităților de securitate AI și împărtășirea cunoștințelor
- Îmbunătățire continuă și integrarea inteligenței amenințărilor
Exercițiu de Planificare a Acțiunilor: Dezvoltarea unui plan de acțiune pe 90 de zile pentru implementarea practicilor de securitate OWASP GenAI în organizațiile participanților
Cerințe
- Cunoștințe generale de principii ale securității aplicațiilor web
- Familiarizare de bază cu conceptele AI/ML
- Experiența cu cadre de securitate sau metodologii de evaluare a riscurilor este preferabilă
Audiență
- Profesionisti din securitatea cibernetică
- Dezvoltatori AI
- Arhitecți de sisteme
- Ofițeri de conformitate
- Practicieni în securitate
14 ore
