Schița de curs
Modulul 1 — Cum se strică aplicațiile AI
Laborator: niciunul — prezentare și discuție despre arhitectură
Modelul mental al constructorului despre suprafața de atac.
Subiecte:
- Arhitecturi LLM, RAG și agenți din perspectiva dezvoltatorului
- Ciclu de viață cerere/răspuns al unei funcționalități AI
- Fluxul prompturilor: mesaje de sistem, dezvoltator, utilizator și instrumente
- Unde intră (și reintră) datele neîncredințate în model
- Limitele de încredere pe care le deține dezvoltatorul vs. cele moștenite
- De ce atacurile AI sunt semantice, nu sintactice
- Maparea OWASP LLM Top 10 la codul pe care îl scrii
Idee cheie: Fiecare loc unde textul neîncredințat ajunge la model — sau ieșirea modelului ajunge în codul tău — este o limită pe care o deții.
Modulul 2 — Injecția de prompt pentru constructori
Laborator: Laborator 01 — 01-Prompt-Injection
„Momentul injecției SQL” pentru AI — dar nu poți scăpa complet de el.
Subiecte:
- injecție de prompt directă vs. indirectă
- instrucțiuni ascunse în documente, pagini web, ieșirea instrumentelor
- jailbreaks și confuzie de roluri
- de ce separarea instrucțiunilor/datelor este importantă
- design defensiv al prompturilor (delimitatori, structură, autoritate minimală)
- de ce prevenția este parțială — proiectează pentru limitare
Exerciții practice:
- atacă propriul chat-bot
- bypass un filtru naiv
- restructurează promptul pentru a micșora raza de acțiune
Modulul 3 — Tratarea ieșirii modelului ca neîncredințată
Laborator: Laborator 02 — 02-Output-Handling
Categoria de bug-uri pe care dezvoltatorii o subestimează cel mai mult.
Subiecte:
- ieșirea modelului ca input neîncredințat pentru restul aplicației
- gestionarea nesigură a ieșirii (LLM02): XSS, SSRF, injecție de comandă/SQL downstream
- nu eval/exec/afișa niciodată ieșirea modelului brut
- ieșiri structurate și validarea schemei
- codificarea ieșirii și listele albe
- afișare sigură în contexte web/UI
Exerciții practice:
- găsește și repară o vulnerabilitate de gestionare nesigură a ieșirii
- aplică o schemă JSON pe răspunsurile modelului
Modulul 4 — Securitatea RAG
Laborator: Laborator 03 — 03-RAG-Security
Una dintre cele mai mari suprafețe de atac noi — și este de construit de tine.
Subiecte:
- amenințări la baza de date vectoriale și recuperare
- sanitizarea la ingestie
- proveniența documentelor și scorul de încredere
- delimitarea recuperării și izolarea metadatelor
- instrucțiuni ascunse în conținutul recuperat (injecție indirectă)
- exfiltrarea datelor prin recuperare
Exerciții practice: - otrăvește o conductă RAG cu un document rău intenționat - adaugă sanitizare la ingestie și delimitare a recuperării pentru a o apăra
Modulul 5 — Siguranța agenților și instrumentelor
Laborator: Laborator 04 — 04-Agent-Safety
Unde un bug devine o acțiune.
Subiecte:
- exces de agenție (LLM06) și abuz de instrumente
- privilegiul minim pentru agenți
- listele albe de instrumente și validarea argumentelor
- porțile de aprobare și omul în buclă
- execuția instrumentelor în sandbox
- credentiale cu domeniu de aplicare și de scurtă durată pentru agenți
- limitarea buclelor și lanțurilor autonome
Exerciții practice:
- blochează un agent cu permisiuni excesive
- adăugă o listă albă + poartă de aprobare unui instrument periculos
Modulul 6 — Secrete, identitate și cost
Laborator: Laborator 05 — 05-Secrets-and-Cost
Greșelile operaționale care lovesc cel mai repede.
Subiecte:
- gestionarea cheilor API și a secretelor (niciodată în prompturi, cod sau jurnale)
- autentificare și autorizare pe utilizator pentru funcționalitățile AI
- propagarea identității utilizatorului către instrumente și recuperare
- denial-of-wallet: consum nelimitat de tokeni/costuri
- limite de rată, bugete de tokeni și timeout-uri
- jurnalizare fără scurgere de secrete sau PII
Exerciții practice:
- scoate secretele din calea prompturilor/codului
- adăugă limite de rată pe utilizator și un buget de tokeni/costuri
Modulul 7 — Biblioteci de gardă
Laborator: Laborator 06 — 06-Guardrails
Cumpără vs. construiește pentru siguranța input/output.
Subiecte:
- ce fac (și ce nu fac) framework-urile de gardă
- garduri de input: clasificatoare de injecție/PII/subiecte
- garduri de output: validare, filtrare, verificări de bază
- când este potrivit un gard vs. propria verificare deterministă
- stratificarea gardurilor cu controalele din modulele anterioare
- performanță, fals pozitive și moduri de eșec
Exerciții practice:
- adăugă un strat de gardă pentru input/output unei funcționalități AI
- măsoară ce prinde și ce ratează
Modulul 8 — Red-Teaming pentru propria aplicație
Laborator: Laborator 07 — 07-Red-Teaming
Livră-o ca și cum un atacator o are deja.
Subiecte:
- construirea unui suit de testare/abuz pentru funcționalitățile AI
- teste automate de injecție de prompt și jailbreak
- teste de regresie pentru garduri și politici
- rularea verificărilor de securitate AI în CI
- lanțul de aprovizionare al modelului și dependențelor (proveniență, fixare)
- o listă de verificare pre-livrare pentru funcționalitățile AI
Exerciții practice:
- scrie teste automate red-team pentru o funcționalitate AI
- conectează-le la o verificare CI
Modulul 9 — Evaluarea securității AI: Cadrul SAIS-100
Laborator: niciunul — exercițiu de evaluare (folosește aplicația Capstone)
Transformă tot ce ai construit într-un scor repetabil.
Subiecte:
- Hexagonul Securității AI: șase întrebări în loc de „este sigur?”
- cele șase categorii evaluate (Date, Prompt, Agent, Lanț de aprovizionare, Detecție, Guvernanță)
- rubrica de 100 de puncte și ponderile sale
- benzile de verdict și regula de suprascriere a unei categorii
- Scorul Secure AI (SAIS-100) ca cadru branduit și repetabil
- evaluarea înainte/după întărire ca metrică
Exerciții practice:
- evaluează aplicația Capstone pe scara de 100 de puncte
- numește singura schimbare care ridică cel mai mult scorul
Idee cheie: Cele trei categorii cu cea mai mare pondere mapează limitele de încredere pe care le deține dezvoltatorul — așa că scorul măsoară exact ceea ce a învățat acest curs.
Capstone
Studenții întăresc o aplicație AI deliberat vulnerabilă de la cap la coadă.
Aplicația inițială conține:
- un prompt injectabil
- gestionare nesigură a ieșirii
- o conductă RAG nedelinită
- un agent cu permisiuni excesive
- secrete în calea prompturilor
- niciun limită de cost
Studenții aplică cursul:
- restructurează prompturile pentru limitare
- validează și codifică ieșirea modelului
- sanitizează și delimitează recuperarea
- aplică privilegiul minim și porțile de aprobare pentru agent
- mută secretele și adaugă limite de cost/rată
- adăugă garduri și teste automate red-team
Rezultat: o aplicație întărită plus o scurtă autoevaluare OWASP LLM Top 10.
Modul - Harta laboratoarelor
Laboratoarele rulează în ordinea laboratoarelor, care urmează ordinea modulelor. Cursul are 9 module și 7 laboratoare: Modulul 1 este o prezentare și discuție despre arhitectură, iar Modulul 9 este un exercițiu de evaluare, deci niciunul nu are propriul folder de laborator.
- Laborator 01 - 01-Prompt-Injection: Atacă-ți chat-botul și proiectează pentru limitare (Modulul 2)
- Laborator 02 - 02-Output-Handling: Repară un bug de gestionare nesigură a ieșirii (Modulul 3)
- Laborator 03 - 03-RAG-Security: Otrăvește apoi apără o conductă RAG (Modulul 4)
- Laborator 04 - 04-Agent-Safety: Blochează un agent cu permisiuni excesive (Modulul 5)
- Laborator 05 - 05-Secrets-and-Cost: Securizează chei și adaugă garduri de cost (Modulul 6)
- Laborator 06 - 06-Guardrails: Adaugă un strat de gardă pentru input/output (Modulul 7)
- Laborator 07 - 07-Red-Teaming: Teste automate red-team în CI (Modulul 8)
Modulul 1 (Cum se strică aplicațiile AI) nu are laborator — rulează ca o prezentare și discuție despre arhitectură. Modulul 9 (Evaluarea securității AI) nu are folder de laborator — rulează ca un exercițiu de evaluare împotriva aplicației Capstone.
Cerințe
- Nivel de competență: Intermediar.
- Studenții ar trebui să fie confortabili cu: construirea și consumarea API-urilor REST, un limbaj de scripting (lucrările practice folosesc Python), autentificarea de bază a aplicațiilor, git și CLI.
- Nu este necesară o experiență în învățarea automată — acesta este un curs de securitate a aplicațiilor pentru cei care construiesc cu LLM-uri, nu pentru cei care le antrenează.
Publicul țintă
- Ingineri software / backend care construiesc funcționalități LLM
- Dezvoltatori full-stack și API
- Ingineri de aplicații AI/ML
- Ingineri de platformă care livrează copiloți și agenți
- Tehnicieni și ingineri seniori care dețin funcționalități AI
Mărturii (2)
Mi-a plăcut foarte mult să învăț despre atacurile de IA și despre instrumentele disponibile pentru a începe să exersez și să le folosesc în mod activ pentru testarea securității. Am acumulat o mulțime de cunoștințe pe care nu le aveam la început, iar cursul a îndeplinit ceea ce speram. Partea mea preferată din training a fost Comet Browser și am fost uimit de ceea ce poate face. Cu siguranță este ceva ce voi explora mai mult. În general, a fost un curs excelent și m-am bucurat să învăț totul despre OWASP GenAI Top 10.
Patrick Collins - Optum
Curs - OWASP GenAI Security
Tradus de catre o masina
Cunoașterea profesională și modul în care ne-a prezentat-o
Miroslav Nachev - PUBLIC COURSE
Curs - Cybersecurity in AI Systems
Tradus de catre o masina
