Schița de curs

Prezentare generală a arhitecturii LLM și a suprafeței de atac

  • Cum sunt construite, implementate și accesate LLM-urile prin API-uri
  • Componente cheie în stivele de aplicații LLM (de ex., prompturi, agenți, memorie, API-uri)
  • Unde și cum apar problemele de securitate în utilizarea reală

Injecția de prompturi și atacurile de jailbreak

  • Ce este injecția de prompturi și de ce este periculoasă
  • Scenarii de injecție de prompturi directe și indirecte
  • Tehnici de jailbreak pentru a ocoli filtrele de siguranță
  • Strategii de detectare și atenuare

Riscuri de scurgere a datelor și confidențialitate

  • Expunerea accidentală a datelor prin răspunsuri
  • Scurgeri de PII și utilizarea necorespunzătoare a memoriei modelului
  • Proiectarea de prompturi conștiente de confidențialitate și generare augmentată de recuperare (RAG)

Filtrarea și protejarea ieșirilor LLM

  • Utilizarea Guardrails AI pentru filtrarea și validarea conținutului
  • Definirea schemelor și constrângerilor de ieșire
  • Monitorizarea și înregistrarea ieșirilor nesigure

Abordări umane în buclă și fluxuri de lucru

  • Unde și când să introduci supravegherea umană
  • Coi de aprobare, praguri de punctaj, gestionarea fallback
  • Calibrarea încrederii și rolul explicabilității

Modele de proiectare securizată pentru aplicații LLM

  • Privilegiu minim și sandboxing pentru apelurile API și agenți
  • Limitarea ratei, throttling și detectarea abuzurilor
  • Înlănțuire robustă cu LangChain și izolarea prompturilor

Conformitate, înregistrare și guvernanță

  • Asigurarea auditabilității ieșirilor LLM
  • Menținerea trasabilității și controlul versiunilor/prompturilor
  • Alinierea la politicile interne de securitate și nevoile reglementare

Rezumat și pași următori

Cerințe

  • O înțelegere a modelelor de limbaj de mari dimensiuni și a interfețelor bazate pe prompturi
  • Experiență în construirea de aplicații LLM folosind Python
  • Cunoașterea integrărilor API și a implementărilor în cloud

Public țintă

  • Dezvoltatori AI
  • Arhitecți de aplicații și soluții
  • Manageri de produse tehnice care lucrează cu instrumente LLM
 14 Ore

Numărul de participanți


Pret per participant

Cursuri viitoare

Categorii înrudite