Intrati in legatura

Schița de curs

Introducere și Fundamente de Diagnosticare

  • Prezentare generală a modurilor de eșec în sistemele LLM și a problemelor specifice Ollama
  • Stabilirea experimentelor reproductibile și a mediilor controlate
  • Setul de instrumente de depanare: logs locale, capturi de cereri/răspunsuri și sandboxing

Reproducerea și Izolarea Eșecurilor

  • Tehnici pentru crearea de exemple minime de eșec și semințe
  • Interacțiuni cu stare vs fără stare: izolarea bug-urilor legate de context
  • Determinism, aleatoriu și controlul comportamentului nedeterminist

Evaluare Comportamentală și Metrici

  • Metrici cantitative: acuratețe, variante ROUGE/BLEU, calibrare și proxy-uri de perplexitate
  • Evaluări calitative: scoruri cu implicare umană și proiectarea rubricilor
  • Verificări de fidelitate specifice sarcinilor și criterii de acceptare

Testare Automatizată și Regresie

  • Teste unitare pentru prompturi și componente, teste de scenariu și end-to-end
  • Crearea de suite de regresie și baze de exemple de referință
  • Integrarea CI/CD pentru actualizări de modele Ollama și porți de validare automatizate

Observabilitate și Monitorizare

  • Logging structurat, urme distribuite și ID-uri de corelație
  • Metrici operaționale cheie: latență, utilizare de tokeni, rate de eroare și semnale de calitate
  • Alertare, panouri de control și SLI/SLO pentru servicii bazate pe modele

Analiză Avansată a Cauzelor Rădăcină

  • Trasarea prin prompturi graficate, apeluri de instrumente și fluxuri multi-turn
  • Diagnostic comparativ A/B și studii de ablație
  • Proveniența datelor, depanarea seturilor de date și abordarea eșecurilor induse de seturi de date

Siguranță, Robustete și Strategii de Remediere

  • Mijloace de atenuare: filtrare, ancorare, augmentare prin recuperare și structurare de prompturi
  • Modele de rollback, canary și implementare în faze pentru actualizări de modele
  • Post-mortem, lecții învățate și bucle de îmbunătățire continuă

Rezumat și Pași Următori

Cerințe

  • Experiență solidă în construirea și implementarea aplicațiilor LLM
  • Familiaritate cu fluxurile de lucru Ollama și găzduirea modelelor
  • Cunoaștere a Python, Docker și a instrumentelor de bază de observabilitate

Publicul Țintă

  • Ingineri AI
  • Profesioniști ML Ops
  • Echipe QA responsabile de sisteme LLM în producție
 35 Ore

Numărul de participanți


Pret per participant

Cursuri viitoare

Categorii înrudite