Intrati in legatura
 Durata 35 ore

Schița de curs

Introducere și Fundamente de Diagnostic

  • Prezentarea modurilor de eșec în sistemele LLM și a problemelor specifice Ollama
  • Stabilirea experimentelor reproductibile și a mediilor controlate
  • Setul de instrumente pentru depanare: jurnalizarea locală, capturarea solicitărilor/răspunsurilor și sandboxing

Reproducerea și Izolarea Eșecurilor

  • Tehnici pentru crearea de exemple minimale de eșec și a „seamărilor” (seeds)
  • Interacțiuni cu stare vs. fără stare: izolarea bug-urilor legate de context
  • Determinism, aleatorietate și controlul comportamentului nedeterministic

Evaluarea Comportamentală și Metrici

  • Metrici cantitative: acuratețe, variante ROUGE/BLEU, calibrare și aproximări ale perplexității
  • Evaluări calitative: scorarea cu implicarea omului (human-in-the-loop) și designul grilelor de evaluare
  • Verificări ale fidelității specifice sarcinilor și criterii de acceptanță

Testare Automatizată și Regresie

  • Teste unitare pentru prompturi și componente, teste de scenar și end-to-end
  • Crearea de suite de regresie și a liniilor de bază cu exemple de referință („golden examples”)
  • Integrare CI/CD pentru actualizările modelelor Ollama și porți de validare automatizate

Observabilitate și Monitorizare

  • Jurnalizare structurată, trace-uri distribuite și ID-uri de corelare
  • Metrici operaționale cheie: latență, utilizarea tokenilor, rate de eroare și semnale de calitate
  • Alertare, dashboarde și SLI/SLO pentru serviciile bazate pe modele

Analiză Avansată a Cauzei Radicale

  • Urmărirea fluxurilor prin prompturi grafiate, apeluri de instrumente și conversații multi-turn
  • Diagnostic comparativ A/B și studii de ablație
  • Proveniența datelor, depanarea seturilor de date și abordarea eșecurilor induse de date

Seguranță, Robustețe și Strategii de Remediație

  • Măsuri de atenuare: filtrare, ancorare în sursă (grounding), augmentare prin recuperare și structuri de prompt
  • Modelări de rollback, lansare cu caneluri (canary) și punere în producție etapizată pentru actualizările de modele
  • Analize post-incident (post-mortems), lecții învățate și bucle de îmbunătățire continuă

Rezumat și Pașii Următori

Cerințe

  • Experiență solidă în construirea și deploy-ul aplicațiilor LLM
  • Familiaritate cu workflow-urile Ollama și găzduirea modelelor
  • Confort în utilizarea Python, Docker și a instrumentelor de bază pentru observabilitate

Publicul Țintă

  • Ingineri AI
  • Specialiști ML Ops
  • Echipe QA responsabile de sisteme LLM în producție

Numărul de participanți


Pret per participant

Cursuri viitoare

Categorii înrudite