Schița de curs

Panoramă a arhitecturii LLM și al suprafeței de atac

  • Cum sunt construite, implementate și accesate LLMs prin API-uri
  • Componentele cheie în stivele aplicațiilor LLM (de exemplu, prompt-urile, agenții, memorie, API-uri)
  • Aunde și cum apar probleme de securitate în utilizarea reală

Injecția prompt și atacurile de jailing

  • Ce este injecția prompt și de ce este periculoasă
  • Scenarii de injecție prompt directă și indirectă
  • Tehnici de jailing pentru a depăși filtrele de siguranță
  • Strategii de detectare și mitigare

Filare de date și riscuri de confidențialitate

  • Espozarea accidentată a datelor prin răspunsuri
  • Istocuri ale informațiilor personale (PII) și abuzul memoriei modelelor
  • Proiectarea prompt-urilor și generarea cu sprijin în recuperare (RAG) cu o conștiință de confidențialitate

Filtrarea și protejarea outputului LLM

  • Utilizarea Guardrails AI pentru filtrarea și validarea conținutului
  • Definirea schemelor de output și constrângerilor
  • Monitorizarea și jurnalizarea outputurilor nesigure

Supravegherea umană și abordările de flux de lucru

  • Când și unde să introduceți supravegherea umană
  • Calibrarea încrederei și rolul explicabilității

Modele de proiectare securizate pentru aplicații LLM

  • Privilegii minime și sandboxing pentru apeluri API și agenți
  • Limitarea ratelor, limitarea și detectarea abuzului
  • Combinări robuste cu LangChain și izolarea prompt-urilor

Conformitate, jurnalizare și guvernanță

  • Asigurarea auditabilității outputurilor LLM
  • Mentenerea urmăririi și controlului prompt-ului/versiunii
  • Alinierea cu politiciile interne de securitate și nevoile reglementare

Synopsis și următoarele pași

Cerințe

  • O înțelegere a modelelor de limbaj mari și interfețelor bazate pe prompt-uri
  • Experiență în construirea aplicațiilor LLM folosind Python
  • Familiaritate cu integrările API și implementările cloud-based

Audientă

  • Dezvoltatori AI
  • Arhitecți de aplicații și soluții
  • Manageri tehnici de produs care lucrează cu unelte LLM
 14 ore

Numărul de participanți


Pret per participant

Cursuri viitoare

Categorii înrudite