Mulțumim pentru trimiterea solicitării! Un membru al echipei noastre vă va contacta în curând.
Mulțumim pentru trimiterea rezervării! Un membru al echipei noastre vă va contacta în curând.
Durata 35 ore
Schița de curs
Introducere și Fundamente de Diagnostic
- Prezentarea modurilor de eșec în sistemele LLM și a problemelor specifice Ollama
- Stabilirea experimentelor reproductibile și a mediilor controlate
- Setul de instrumente pentru depanare: jurnalizarea locală, capturarea solicitărilor/răspunsurilor și sandboxing
Reproducerea și Izolarea Eșecurilor
- Tehnici pentru crearea de exemple minimale de eșec și a „seamărilor” (seeds)
- Interacțiuni cu stare vs. fără stare: izolarea bug-urilor legate de context
- Determinism, aleatorietate și controlul comportamentului nedeterministic
Evaluarea Comportamentală și Metrici
- Metrici cantitative: acuratețe, variante ROUGE/BLEU, calibrare și aproximări ale perplexității
- Evaluări calitative: scorarea cu implicarea omului (human-in-the-loop) și designul grilelor de evaluare
- Verificări ale fidelității specifice sarcinilor și criterii de acceptanță
Testare Automatizată și Regresie
- Teste unitare pentru prompturi și componente, teste de scenar și end-to-end
- Crearea de suite de regresie și a liniilor de bază cu exemple de referință („golden examples”)
- Integrare CI/CD pentru actualizările modelelor Ollama și porți de validare automatizate
Observabilitate și Monitorizare
- Jurnalizare structurată, trace-uri distribuite și ID-uri de corelare
- Metrici operaționale cheie: latență, utilizarea tokenilor, rate de eroare și semnale de calitate
- Alertare, dashboarde și SLI/SLO pentru serviciile bazate pe modele
Analiză Avansată a Cauzei Radicale
- Urmărirea fluxurilor prin prompturi grafiate, apeluri de instrumente și conversații multi-turn
- Diagnostic comparativ A/B și studii de ablație
- Proveniența datelor, depanarea seturilor de date și abordarea eșecurilor induse de date
Seguranță, Robustețe și Strategii de Remediație
- Măsuri de atenuare: filtrare, ancorare în sursă (grounding), augmentare prin recuperare și structuri de prompt
- Modelări de rollback, lansare cu caneluri (canary) și punere în producție etapizată pentru actualizările de modele
- Analize post-incident (post-mortems), lecții învățate și bucle de îmbunătățire continuă
Rezumat și Pașii Următori
Cerințe
- Experiență solidă în construirea și deploy-ul aplicațiilor LLM
- Familiaritate cu workflow-urile Ollama și găzduirea modelelor
- Confort în utilizarea Python, Docker și a instrumentelor de bază pentru observabilitate
Publicul Țintă
- Ingineri AI
- Specialiști ML Ops
- Echipe QA responsabile de sisteme LLM în producție