Mulțumim pentru trimiterea solicitării! Un membru al echipei noastre vă va contacta în curând.
Mulțumim pentru trimiterea rezervării! Un membru al echipei noastre vă va contacta în curând.
Schița de curs
Peisajul de amenințări IA
- De ce securitatea IA este diferită: nendeterminism, raționament opac, promptul ca suprafață de atac.
- Taxonomia atacurilor: atacuri la nivelul antrenamentului vs. inferenței vs. lanțului de aprovizionare.
- Modelul adversarului ML: cine ataca sistemele IA și de ce.
OWASP Top 10 pentru Aplicațiile LLM
- Injectarea prompturilor: vectori de atac direcți și indirecti.
- Gestionarea nesigură a output-ului și falsificarea cererilor cross-plugin.
- Contaminarea datelor de antrenament și vulnerabilitățile lanțului de aprovizionare.
- Avalanșa de deny of service asupra modelelor, divulgarea informațiilor sensibile și agenția excesivă.
- Laborator practic: exploit-uri ale fiecărei categorii OWASP împotriva unei aplicații de test.
Red Teaming pentru Injectarea Prompturilor și Jailbreak
- Taxonomia tehnicilor de injectare: directă, indirectă, multi-turn și multi-modală.
- Red-teaming automatizat cu Giskard, Garak și instrumente custom de fuzzing.
- Clasificarea jailbreak-urilor și evaluarea apărării.
- Construirea unui framework red-team pentru testarea continuă a securității LLM.
Atacuri la nivelul modelului și apărări
- Extragerea modelelor: furtul greutăților (weights) și funcționalității modelului prin query-uri API.
- Inferența apartenenței: determinarea dacă datele au fost în setul de antrenament.
- Exemple adversare: perturbații care păcălesc clasificatoarele și embedding-urile.
- Contaminarea datelor: coruperea datelor de antrenament pentru a induce backdo-uri sau a degrada performanța.
Controalele de securitate Input și Output
- Sanitizarea input-ului dincolo de apărările web tradiționale.
- Filtrarea output-ului: toxicitate, scurgerea PII, execuția codului halucinat.
- Guardrails ca infrastructură de securitate: NeMo, Guardrails AI și politici custom.
- Imposibilitatea impusă a output-ului structurat ca frontieră de securitate.
Securitatea Lanțului de Aprovizionare IA
- Proveniența modelelor: verificarea autenticității și integrității modelului.
- Scanarea dependențelor pentru framework-uri ML și formate de modele.
- Implementarea secură a modelelor: sandboxing, izolare rețea și acces cu privilegii minime.
- Vetting-ul modelelor fine-tuned și comunitare pentru malware integrat.
Securitatea Operațională pentru Sistemele IA
- Controlul accesului pentru endpoint-urile modelelor, vector stores și instrumentele de agent.
- Jurnalizarea auditului pentru fiecare interacțiune și decizie a modelului.
- Răspunsul la incidente pentru breach-uri specifice IA: când chiar modelul este compromis.
- Testarea continuă a securității în CI/CD pentru pipeline-urile ML.
Construirea unui Program de Securitate IA
- Modelul de maturitate al securității IA și roadmap-ul.
- Integrarea securității IA în programele existente AppSec și cloud security.
- Cadrului de guvernanță și reglementările emergente pentru sistemele IA.
- Crearea și întreținerea unui manual de securitate IA organizațional.
Cerințe
- Experiență în implementarea modelelor ML sau a aplicațiilor LLM în producție.
- Familiaritate cu concepte de securitate, inclusiv autentificare, autorizare și modelarea amenințărilor.
- Abilități avansate de Python pentru exercițiile de testare adversă.
Public țintă
- Ingineri de securitate care se extind către suprafețele de amenințare AI/ML.
- Ingineri ML responsabili pentru siguranța și robustetea modelelor.
- Membri ai echipelor red team care adaugă sistemele IA în sfera lor de testare.
14 Ore
