Mulțumim pentru trimiterea solicitării! Un membru al echipei noastre vă va contacta în curând.
Mulțumim pentru trimiterea rezervării! Un membru al echipei noastre vă va contacta în curând.
Schița de curs
Ziua 1: Fundamente și Amenințări de Bază
Modulul 1: Introducere în Proiectul OWASP GenAI Security (1 oră)
Obiective de învățare:
- Înțelegerea evoluției de la OWASP Top 10 la provocările de securitate specifice GenAI
- Explorarea ecosistemului și resurselor Proiectului OWASP GenAI Security
- Identificarea diferențelor cheie între securitatea aplicațiilor tradiționale și securitatea AI
Subiecte acoperite:
- Prezentare generală a misiunii și scopului Proiectului OWASP GenAI Security
- Introducere în cadrul Threat Defense COMPASS
- Înțelegerea peisajului de securitate AI și a cerințelor de reglementare
- Suprafețe de atac AI vs vulnerabilități ale aplicațiilor web tradiționale
Exercițiu practic: Configurarea instrumentului OWASP Threat Defense COMPASS și efectuarea unei evaluări inițiale a amenințărilor
Modulul 2: OWASP Top 10 pentru LLM - Partea 1 (2,5 ore)
Obiective de învățare:
- Stăpânirea primelor cinci vulnerabilități critice ale LLM
- Înțelegerea vectorilor de atac și a tehnicilor de exploatare
- Aplicarea strategiilor practice de mitigare
Subiecte acoperite:
LLM01: Injecție de Prompt
- Tehnici de injecție directă și indirectă de prompt
- Atacuri cu instrucțiuni ascunse și contaminare între prompturi
- Exemple practice: Jailbreaking pentru roboți de chat și ocolirea măsurilor de siguranță
- Strategii de apărare: Sanitizarea intrărilor, filtrarea prompturilor, confidențialitate diferențială
LLM02: Dezvăluirea Informațiilor Sensibile
- Extracția datelor de antrenament și scurgerea prompturilor de sistem
- Analiza comportamentului modelului pentru expunerea informațiilor sensibile
- Implicații privind confidențialitatea și considerații de conformitate cu reglementările
- Mitigare: Filtrarea ieșirilor, controale de acces, anonimizarea datelor
LLM03: Vulnerabilități ale Lanțului de Aprovizionare
- Dependențe de modele terțe și securitatea pluginurilor
- Seturi de date de antrenament compromise și otrăvirea modelelor
- Evaluarea riscului pentru furnizorii de componente AI
- Practici sigure de implementare și verificare a modelelor
Exercițiu practic: Laborator practic demonstrând atacuri de injecție de prompt împotriva aplicațiilor LLM vulnerabile și implementarea măsurilor defensive
Modulul 3: OWASP Top 10 pentru LLM - Partea 2 (2 ore)
Subiecte acoperite:
LLM04: Otrăvirea Datelor și Modelelor
- Tehnici de manipulare a datelor de antrenament
- Modificarea comportamentului modelului prin intrări otrăvite
- Atacuri backdoor și verificarea integrității datelor
- Prevenție: Conducte de validare a datelor, urmărirea provenienței
LLM05: Gestionarea Improprie a Ieșirilor
- Procesarea nesigură a conținutului generat de LLM
- Injecția de cod prin ieșirile generate de AI
- Cross-site scripting prin răspunsurile AI
- Cadre de validare și sanitizare a ieșirilor
Exercițiu practic: Simularea atacurilor de otrăvire a datelor și implementarea mecanismelor robuste de validare a ieșirilor
Modulul 4: Amenințări Avansate ale LLM (1,5 ore)
Subiecte acoperite:
LLM06: Agenție Excesivă
- Riscuri ale deciziilor autonome și încălcări ale limitelor
- Managementul autorității și permisiunilor agenților
- Interacțiuni neintenționate ale sistemului și escaladarea privilegiilor
- Implementarea gardurilor și controalelor de supraveghere umană
LLM07: Scurgerea Prompturilor de Sistem
- Vulnerabilități de expunere a instrucțiunilor de sistem
- Dezvăluirea credențialelor și logicii prin prompturi
- Tehnici de atac pentru extragerea prompturilor de sistem
- Securizarea instrucțiunilor de sistem și configurația externă
Exercițiu practic: Proiectarea arhitecturilor sigure pentru agenți cu controale de acces și monitorizare adecvate
Ziua 2: Amenințări Avansate și Implementare
Modulul 5: Amenințări Emergente ale AI (2 ore)
Obiective de învățare:
- Înțelegerea amenințărilor de securitate AI de ultimă oră
- Implementarea tehnicilor avansate de detectare și prevenire
- Proiectarea sistemelor AI reziliente împotriva atacurilor sofisticate
Subiecte acoperite:
LLM08: Vulnerabilități ale Vectorilor și Embeddingurilor
- Vulnerabilități ale sistemelor RAG și securitatea bazelor de date vectoriale
- Atacuri de otrăvire a embeddingurilor și manipulare a similarității
- Exemple adversariale în căutarea semantică
- Securizarea magazinelor vectoriale și implementarea detectării de anomalii
LLM09: Dezinformare și Fiabilitatea Modelelor
- Detectarea și mitigarea halucinațiilor
- Amplificarea biasului și considerații de corectitudine
- Mecanisme de verificare a faptelor și surselor
- Integrarea validării conținutului și a supravegherii umane
LLM10: Consum Nesfârșit
- Atacuri de epuizare a resurselor și denial-of-service
- Strategii de limitare a ratei și managementul resurselor
- Optimizarea costurilor și controalele bugetare
- Sisteme de monitorizare și alertare a performanței
Exercițiu practic: Construirea unui pipeline RAG sigur cu protecție a bazei de date vectoriale și detectare de halucinații
Modulul 6: Securitatea AI Agențială (2 ore)
Obiective de învățare:
- Înțelegerea provocărilor unice de securitate ale agenților AI autonomi
- Aplicarea taxonomiei OWASP Agentic AI la sisteme din lumea reală
- Implementarea controalelor de securitate pentru medii multi-agenți
Subiecte acoperite:
- Introducere în AI agențial și sisteme autonome
- Taxonomia Amenințărilor OWASP Agentic AI: Proiectarea Agenților, Memorie, Planificare, Utilizarea Instrumentelor, Implementare
- Securitatea sistemelor multi-agenți și riscurile de coordonare
- Atacuri de utilizare greșită a instrumentelor, otrăvire a memoriei și deturnare a scopurilor
- Securizarea comunicării și proceselor de decizie ale agenților
Exercițiu practic: Exercițiu de modelare a amenințărilor folosind taxonomia OWASP Agentic AI pe un sistem multi-agenți de servicii pentru clienți
Modulul 7: Implementarea OWASP Threat Defense COMPASS (2 ore)
Obiective de învățare:
- Stăpânirea aplicării practice a Threat Defense COMPASS
- Integrarea evaluării amenințărilor AI în programele de securitate organizaționale
- Dezvoltarea unor strategii cuprinzătoare de gestionare a riscurilor AI
Subiecte acoperite:
- Profundarea metodologiei Threat Defense COMPASS
- Integrarea buclei OODA: Observare, Orientare, Decizie, Acțiune
- Maparea amenințărilor pe cadrele MITRE ATT&CK și ATLAS
- Construirea de panouri de strategie de reziliență la amenințări AI
- Integrarea cu instrumentele și procesele de securitate existente
Exercițiu practic: Evaluare completă a amenințărilor folosind COMPASS pentru un scenariu de implementare Microsoft Copilot
Modulul 8: Implementare Practică și Bune Practici (2,5 ore)
Obiective de învățare:
- Proiectarea arhitecturilor sigure AI de la zero
- Implementarea monitorizării și răspunsului la incidente pentru sistemele AI
- Crearea cadrelor de guvernanță pentru securitatea AI
Subiecte acoperite:
Ciclu de Dezvoltare Sigură AI:
- Principiile de securitate prin design pentru aplicațiile AI
- Practici de revizuire a codului pentru integrarea LLM
- Metodologii de testare și scanare a vulnerabilităților
- Securizarea implementării și consolidarea producției
Monitorizare și Detectare:
- Cerințe specifice de logare și monitorizare pentru AI
- Detectarea anomaliilor pentru sistemele AI
- Proceduri de răspuns la incidente pentru evenimente de securitate AI
- Tehnici de investigare și forensics
Guvernanță și Conformitate:
- Cadre și politici de gestionare a riscurilor AI
- Considerații de conformitate cu reglementările (GDPR, AI Act, etc.)
- Evaluarea riscului pentru furnizorii terți de AI
- Formarea de conștientizare a securității pentru echipele de dezvoltare AI
Exercițiu practic: Proiectarea unei arhitecturi de securitate complete pentru un chatbot enterprise, inclusiv monitorizare, guvernanță și proceduri de răspuns la incidente
Modulul 9: Instrumente și Tehnologii (1 oră)
Obiective de învățare:
- Evaluarea și implementarea instrumentelor de securitate AI
- Înțelegerea peisajului actual al soluțiilor de securitate AI
- Construirea unor capacități practice de detectare și prevenire
Subiecte acoperite:
- Ecosistemul instrumentelor de securitate AI și peisajul furnizorilor
- Instrumente open-source de securitate: Garak, PyRIT, Giskard
- Soluții comerciale pentru securitatea și monitorizarea AI
- Modele de integrare și strategii de implementare
- Criterii de selecție și cadre de evaluare a instrumentelor
Exercițiu practic: Demonstrație practică a instrumentelor de testare a securității AI și planificarea implementării
Modulul 10: Tendințe Viitoare și Încheiere (1 oră)
Obiective de învățare:
- Înțelegerea amenințărilor emergente și a provocărilor viitoare de securitate
- Dezvoltarea strategiilor de învățare continuă și îmbunătățire
- Crearea de planuri de acțiune pentru programele organizaționale de securitate AI
Subiecte acoperite:
- Amenințări emergente: Deepfake-uri, injecții de prompt avansate, inversarea modelelor
- Dezvoltări viitoare și planul de dezvoltare al Proiectului OWASP GenAI
- Construirea comunităților de securitate AI și împărtășirea cunoștințelor
- Îmbunătățire continuă și integrarea informațiilor despre amenințări
Exercițiu de Planificare: Dezvoltarea unui plan de acțiune de 90 de zile pentru implementarea practicilor de securitate OWASP GenAI în organizațiile participanților
Cerințe
- Înțelegere generală a principiilor de securitate a aplicațiilor web
- Familiarizare de bază cu conceptele AI/ML
- Experiență preferabilă în cadre de securitate sau metodologii de evaluare a riscurilor
Public țintă
- Profesioniști în securitate cibernetică
- Dezvoltatori AI
- Arhitecți de sisteme
- Oficialii de conformitate
- Practicieni în securitate
14 Ore
Mărturii (3)
Trainerii pot răspunde la toate întrebările și pot accepta orice interogări
Dewi Anggryni - PT Dentsu International Indonesia
Curs - Copilot for Finance and Accounting Professionals
Tradus de catre o masina
Explorarea diferitelor cazuri de utilizare și a aplicațiilor AI a fost utilă. Mi-a plăcut prezentarea detaliată a diferitelor Agenți AI.
Axel Schulz - CANARIE Inc
Curs - Microsoft 365 Copilot: AI Productivity Across Word, Excel, PowerPoint, Outlook, and Teams
Tradus de catre o masina
M-am bucurat că instrucționarul avea multe cunoștințe și le-a împărtășit cu noi
Daria Pawlak - LKQ POLSKA SPOLKA Z OGRANICZONA ODPOWIEDZIALNOSCIA
Curs - Microsoft 365 Copilot Chat for Word, Excel, PowerPoint, and Outlook
Tradus de catre o masina
