Schița de curs

Introducere și Fundamente de Diagnosticare

  • Prezentare generală a modurilor de eșec în sistemele LLM și probleme specifice Ollama
  • Stabilirea experimentelor reproducibile și a mediilor controlate
  • Set de instrumente de depanare: logs locale, capturi de cereri/răspunsuri și sandboxing

Reproducerea și Izolarea Eșecurilor

  • Tehnici pentru crearea de exemple minime de eșec și semințe
  • Interacțiuni stateful vs stateless: izolarea bug-urilor legate de context
  • Determinism, aleatoriu și controlul comportamentului nedeterminist

Evaluare Comportamentală și Metrici

  • Metrici cantitative: acuratețe, variante ROUGE/BLEU, calibrare și proxy-uri de perplexitate
  • Evaluări calitative: scoruri cu implicare umană și proiectarea rubricilor
  • Verificări de fidelitate specifice sarcinilor și criterii de acceptare

Testare și Regresie Automatizată

  • Teste unitare pentru prompturi și componente, teste de scenariu și end-to-end
  • Crearea de suite de regresie și linii de bază cu exemple aurii
  • Integrarea CI/CD pentru actualizări ale modelelor Ollama și porți de validare automate

Observabilitate și Monitorizare

  • Logging structurat, trace-uri distribuite și ID-uri de corelație
  • Metrici operaționale cheie: latență, utilizare de tokeni, rate de eroare și semnale de calitate
  • Alertare, tablouri de bord și SLI/SLO pentru serviciile bazate pe modele

Analiză Avansată a Cauzelor Rădăcină

  • Trasarea prin prompturi graficate, apeluri de instrumente și fluxuri multi-turn
  • Diagnostic comparativ A/B și studii de ablație
  • Proveniența datelor, depanarea seturilor de date și abordarea eșecurilor induse de seturile de date

Siguranță, Robustete și Strategii de Remediere

  • Mijloace de atenuare: filtrare, bazare, augmentare prin recuperare și structurare de prompturi
  • Modele de rollback, canary și implementare în faze pentru actualizări ale modelelor
  • Post-mortem, lecții învățate și bucle de îmbunătățire continuă

Rezumat și Pași Următori

Cerințe

  • Experiență solidă în construirea și implementarea aplicațiilor LLM
  • Familiaritate cu fluxurile de lucru Ollama și găzduirea modelelor
  • Confortabil cu Python, Docker și instrumente de bază de observabilitate

Publicul țintă

  • Ingineri AI
  • Profesioniști ML Ops
  • Echipe QA responsabile de sistemele LLM în producție
 35 Ore

Numărul de participanți


Pret per participant

Cursuri viitoare

Categorii înrudite