Schița de curs
Modulul 1 — Sisteme AI pentru Inginerii de Securitate
Laborator: Laborator 01 — 01-Introducere
Înțelegerea arhitecturii.
Subiecte:
- LLM-uri vs aplicații normale
- Pipeline-uri de inferență AI
- Flux de prompt
- Arhitectura RAG
- Încorporări/baze de date vectoriale
- Fluxuri de lucru agentice
- Apelarea instrumentelor
- Gateway-uri AI
- Copiloți
- MCP și protocoale agenți
- Unde există vizibilitatea WAF
- Unde dispare vizibilitatea WAF
Idee cheie: WAF-urile tradiționale pierd adesea vizibilitatea după ce promptul ajunge la model.
Modulul 2 — OWASP GenAI Top 10
Laborator: niciunul — recapitulare/discuție interactivă
Categorii de bază ale atacurilor AI.
Subiecte:
- Injecția de Prompt
- Gestionarea Insecure a Ieșirilor
- Intoxicația Datelor de Antrenament
- DoS al Modelului
- Vulnerabilități din Lanțul de Aprovizionare
- Dezvăluirea Informațiilor Sensibile
- Agenție Excesivă
- Slăbiciuni ale Vectorilor/Încorporărilor
- Dezinformare
- Consum Nesăbuit
Include:
- Diferențe față de OWASP clasic
- Maparea la controale defensive (WAF, gateway, strat de aplicație)
- Unde ajută fiecare control
- Unde eșuează fiecare control
Modulul 3 — Detectarea Injecției de Prompt
Laborator: Laborator 02 — 02-Injecție-Prompt
„Momentul injecției SQL” pentru AI.
Subiecte:
- Injecție directă de prompt
- Injecție indirectă de prompt
- Instrucțiuni ascunse
- Atacuri bazate pe documente
- Injecție HTML/Markdown
- Modele de jailbreak
- Atacuri de suprascriere a contextului
- Atacuri de confuzie a rolurilor
Strategii de detectare:
- euristici de cuvinte cheie
- clasificare semantică
- verificarea prompturilor
- aplicarea limitelor de instrucțiuni
- politici de permisiune/interzicere
- modele regex conștiente de AI
Laboratoare practice:
- Atacați un chatbot
- Ocoliți filtre naive
- Construiți detectare stratificată
Modulul 4 — Reguli WAF Conștiente de AI
Laborator: Laborator 03 — 03-Baze-WAF
Cum evoluează regulile WAF pentru sistemele AI.
- Subiecte:
- protejarea punctelor finale LLM
- protecția API-urilor de inferență
- limitarea ratei bazată pe token
- inspectarea mărimii prompturilor
- semnături specifice AI
- detectarea anomaliilor în conversații
- modele de abuz în mai multe etape
- încercări de enumerare a modelelor
- scraping de inferență
- protecție împotriva atacurilor „denial-of-wallet”
Exemple:
- protejarea /v1/chat/completions
- apărarea API-urilor de streaming
- blocarea apelurilor recursive ale agenților
Modulul 5 — Securizarea Pipeline-urilor RAG
Laborator: Laborator 04 — 04-Securitate-RAG
Una dintre cele mai noi suprafețe de atac.
Subiecte:
- amenințări ale bazelor de date vectoriale
- intoxicația încorporărilor
- PDF-uri/documente malitioase
- manipularea recuperării
- intoxicație semantică
- instrucțiuni ascunse în documente
- contaminare între documente
- exfiltrarea datelor prin recuperare
Apărări:
- sanitizarea la ingestie
- scoruri de încredere
- izolarea metadatelor
- proveniența documentelor
- politici de recuperare
- segmentarea
Studiu de caz: „Încărcați un PDF intoxicați și preluați controlul asistentului AI.”
Modulul 6 — Securitatea AI Agentic
Laborator: Laborator 05 — 05-Securitate-Agent
Unde lucrurile devin periculoase.
Subiecte:
- agenție excesivă
- abuzul de instrumente
- înlănțuirea API-urilor
- bucle autonome
- escaladarea permisiunilor
- intoxicația memoriei
- execuție indirectă a instrumentelor
- impersonificarea agenților
- scurgerea de credențiale
- atacuri multi-agent
Apărări:
- privilegii minime pentru agenți
- porți de aprobare
- motoare de politici în timp real
- sandboxing
- credențiale cu domeniu limitat
- lista albă de instrumente
- prezența umană în buclă
Aceasta este secțiunea de care managerii sunt cei mai interesați, deoarece riscul devine operațional și afectează afacerea.
Modulul 7 — Securitatea API-urilor pentru AI
Laborator: Laborator 06 — 06-Denial-of-Wallet
Sistemele AI sunt bogate în API-uri.
Subiecte:
- gateway-uri API
- Riscuri AI în GraphQL
- Abuzul MCP/API
- Protecția JWT
- Securitatea plugin-urilor AI
- Autentificarea agenților
- Autorizare delegată
- Gestionarea secretelor
- Prompturi semnate
- Inventarul API-urilor pentru AI
Legătură cu: OWASP API Security Top 10
Modulul 8 — Ingineria Detectării & Integrarea SOC
Laborator: Laborator 07 — 07-Detectare
Apărare operațională.
Subiecte:
- Telemetrie AI
- Logarea prompturilor
- Analiza token-urilor
- Detectarea anomaliilor
- Pipeline-uri SIEM semantice
- Indicatori de atac AI
- Vânătoarea de amenințări pentru abuzul LLM
- Observabilitate în timp real AI
Exemple:
- detectarea campaniilor de jailbreak
- identificarea abuzului automat al agenților
- detectarea extinderii modelelor
Modulul 9 — WAF-uri în Cloud și Securitatea AI
Laborator: niciunul — recapitulare/discuție interactivă
Implementări specifice furnizorilor.
Subiecte:
- AWS WAF pentru API-uri AI
- Azure WAF
- Cloudflare AI Gateway
- Gateway-uri API
- Filtrarea AI în Envoy
- Kong AI Gateway
- Modele de securitate AI în NGINX
Comparație:
- WAF tradițional vs gateway AI vs barieră de aplicație
- filtrare bazată pe proxy vs filtrare semantică
Modulul 10 — Construirea unei Apărări Stratificate AI
Laborator: Laborator 08 — 08-Apărare-Stratificată
Concluzie filosofică importantă:
Niciun singur strat nu poate securiza AI (un WAF, cel puțin, nu singur).
Studenții construiesc un model stratificat:
- WAF
- Gateway API
- Gateway AI
- Bariere
- Monitorizare în timp real
- Identitate/autorizare
- Sandbox
- Aprobare umană
- Observabilitate
- Răspuns la incidente
Aceasta se aliniază puternic cu modelul „multi-layer security”.
Modul ↔ Mapă Laboratoare
Laboratoarele se desfășoară în ordinea laboratoarelor, care urmează ordinea modulelor.
Cursul are 10 module, dar 8 laboratoare: Modulele 2 și 9 sunt recapitulări/discuții interactive și nu au laborator.
Fiecare laborator este etichetat cu modulul său în acest rezumat.
- Laborator 01 (Modulul 1)
- Director: 01-Introducere
- Titlu: Explorați un sistem AI — ce se întâmplă pe fir
- Laborator 02 (Modulul 3)
- Director: 02-Injecție-Prompt
- Titlu: Atacați un chatbot & ocoliți filtre naive
- Laborator 03 (Modulul 4)
- Director: 03-Baze-WAF
- Titlu: Construiți reguli WAF conștiente de AI
- Laborator 04 (Modulul 5)
- Director: 04-Securitate-RAG
- Titlu: Intoxicați un pipeline RAG
- Laborator 05 (Modulul 6)
- Director: 05-Securitate-Agent
- Titlu: Securizați un agent autonom
- Laborator 06 (Modulul 7)
- Director: 06-Denial-of-Wallet
- Titlu: Detectați atacuri de tip „denial-of-wallet”
- Laborator 07 (Modulul 8)
- Director: 07-Detectare
- Titlu: Monitorizați modele de abuz AI în loguri
- Laborator 08 (Modulul 10)
- Director: 08-Apărare-Stratificată
- Titlu: Construiți o arhitectură de apărare stratificată AI
Capstone
Studenții apără un asistent AI simulat de întreprindere.
Atacatorii încearcă:
- injecție de prompt
- abuz de instrumente
- furt de credențiale
- intoxicație a recuperării
- consum excesiv de API
- escaladarea agenților
Echipele construiesc:
- Reguli WAF
- Politici de gateway AI
- Detectare în timp real
- Bariere
- Răspuns la incidente
Cerințe
- Studenții ar trebui să aibă deja cunoștințe despre securitatea HTTP/API, proxy/reverse proxy, autentificare, OWASP Top 10, API-uri REST și rețele de bază în cloud
Public țintă
- Ingineri de securitate & AppSec
- Analiști SOC & ingineri de detectare
- Ingineri de securitate API
- Securitate cloud / API / platformă
- Ingineri DevSecOps
- Arhitecți de securitate
- Specialiști în securitatea rețelelor / WAF
- Ingineri de platformă AI
Mărturii (2)
Mi-a plăcut foarte mult să învăț despre atacurile de IA și despre instrumentele disponibile pentru a începe să exersez și să le folosesc în mod activ pentru testarea securității. Am acumulat o mulțime de cunoștințe pe care nu le aveam la început, iar cursul a îndeplinit ceea ce speram. Partea mea preferată din training a fost Comet Browser și am fost uimit de ceea ce poate face. Cu siguranță este ceva ce voi explora mai mult. În general, a fost un curs excelent și m-am bucurat să învăț totul despre OWASP GenAI Top 10.
Patrick Collins - Optum
Curs - OWASP GenAI Security
Tradus de catre o masina
Cunoașterea profesională și modul în care ne-a prezentat-o
Miroslav Nachev - PUBLIC COURSE
Curs - Cybersecurity in AI Systems
Tradus de catre o masina