Mulțumim pentru trimiterea solicitării! Un membru al echipei noastre vă va contacta în curând.
Mulțumim pentru trimiterea rezervării! Un membru al echipei noastre vă va contacta în curând.
Schița de curs
Introducere în LLMOps
- LLMOps vs MLOps: provocările unice ale operării modelelor LLM
- Ciclul de viață al aplicației LLM: prompt, evaluare, implementare, monitorizare
- Lista de verificare pentru pregătirea în producție a aplicațiilor GenAI
Gestionarea și versionarea prompturilor
- Sisteme de templating pentru prompturi și injectarea variabilelor
- Versionare semantică pentru prompturi cu teste de regresie automate
- Registre de prompturi și fluxuri de lucru colaborative
Evaluarea LLM la scară largă
- Dimensiunile evaluării: acuratețe, relevanță, siguranță, ancorare (groundedness)
- Metricile LLM-as-judge și pipeline-urile de evaluare umană
- Framework-uri automate de evaluare: RAGAS, DeepEval și evaluatorii personalizați
- Poarte de calitate în CI/CD pentru implementările LLM
Garduri de siguranță și guvernanța conținutului
- Garduri de siguranță pentru input și output: NeMo Guardrails și Guardrails AI
- Detectarea PII, filtrarea toxicității și delimitarea tematică
- Strategii de apărare împotriva jailbreak-urilor și atacurilor prin injectare de prompturi
- Red-teaming al aplicațiilor LLM pentru asigurarea siguranței
Observabilitate și monitorizare a LLM-urilor
- Telemetrie: utilizarea tokenilor, latența, costurile și metricile de calitate
- Detectarea derivației (drift) în ieșirile LLM și spațiile de embedding
- Tracing la nivel de sesiune pentru conversații multi-turn cu agenți
- Tablouri de bord (dashboards) și alertare cu LangSmith, Arize și OpenTelemetry
Gateway AI și orchestrația modelelor
- Rutare multi-furnizor cu LiteLLM și Portkey
- Strategii de fallback, logica de retry și breakerele de circuit (circuit breakers)
- Alegerea modelului conștientă de costuri și echilibrarea sarcinilor (load balancing)
- Limitarea ratelor, gestionarea cotelor și guvernanța cheilor API
Optimizarea performanței
- Caching semantic cu vector stores și strategii de potrivire exactă
- Imposibilitatea output-ului structurat prin decodare constrânsă (constrained decoding)
- Patterns de batching, streaming și concurență
- Optimizarea latenței între diverși furnizori de modele
Guvernanță, conformitate și audit
- Istoricul de audit LLM: loguri prompt, loguri de răspuns și proveniența deciziilor
- Considerații privind rezidența datelor și confidențialitatea pentru API-urile LLM
- Politica ca cod (Policy-as-code) pentru utilizarea LLM în organizații
- Crearea unui manual intern de operațiuni LLM
Cerințe
- Experiență în dezvoltarea sau integrarea aplicațiilor bazate pe LLM.
- Cunoștințe despre Python și API-urile REST.
- Înțelegere de bază a conceptelor de prompt engineering.
PUBLICUL ŢINTĂ
- Ingineri ML și practicienii MLOps care trec la operațiunile cu LLM.
- Ingineri de platformă responsabili pentru infrastructura LLM.
- Lideri tehnici care gestionează implementările GenAI în producție.
14 Ore
Mărturii (2)
folosirea unor prompturi corecte și eficiente
Marses Pacaldo
Curs - Generative AI and Prompt Engineering for Corporate Professionals
Tradus de catre o masina
Stilul interactiv, exercițiile
Tamas Tutuntzisz
Curs - Introduction to Prompt Engineering
Tradus de catre o masina
