Mulțumim pentru trimiterea solicitării! Un membru al echipei noastre vă va contacta în curând.
Mulțumim pentru trimiterea rezervării! Un membru al echipei noastre vă va contacta în curând.
Durata 35 ore
Schița de curs
Introducere și fundamente de diagnosticare
- Prezentare generală a modurilor de eșec în sistemele LLM și a problemelor comune specifice Ollama
- Stabilirea experimentelor reproductibile și a mediilor controlate
- Setul de instrumente de depanare: loguri locale, capturi de request/response și sandboxing
Reproducerea și izolarea eșecurilor
- Tehnici pentru crearea de exemple minime de eșec și seed-uri
- Interacțiuni stateful vs stateless: izolarea bug-urilor legate de context
- Determinism, aleatorism și controlul comportamentului nedeterminist
Evaluarea comportamentală și metrici
- Metrici cantitative: acuratețe, variante ROUGE/BLEU, calibrare și proxy-uri de perplexitate
- Evaluări calitative: scorare cu human-in-the-loop și proiectarea rubricilor
- Verificări de fidelitate specifice sarcinii și criterii de acceptare
Testare automatizată și regresie
- Teste unitare pentru prompt-uri și componente, teste de scenariu și end-to-end
- Crearea de suite de regresie și baseline-uri cu exemple golden
- Integrare CI/CD pentru actualizările modelelor Ollama și porți automate de validare
Observabilitate și monitorizare
- Logging structurat, trace-uri distribuite și ID-uri de corelare
- Metrici operaționale cheie: latență, utilizare token-uri, rate de eroare și semnale de calitate
- Alerte, dashboard-uri și SLI-uri/SLO-uri pentru serviciile bazate pe modele
Analiza avansată a cauzelor rădăcină
- Trasarea prin prompt-uri grafate, apeluri de tool-uri și fluxuri multi-turn
- Diagnosticare comparativă A/B și studii de ablație
- Proveniența datelor, depanarea dataset-urilor și abordarea eșecurilor induse de dataset-uri
Strategii de siguranță, robustețe și remediere
- Mitigări: filtrare, grounding, augmentare prin retrieval și scaffolding de prompt-uri
- Modele de rollback, canary și lansare în etape pentru actualizările modelelor
- Post-mortem-uri, lecții învățate și bucle de îmbunătățire continuă
Rezumat și pașii următori
Cerințe
- Experiență solidă în construirea și implementarea aplicațiilor LLM
- Familiaritate cu fluxurile de lucru Ollama și cu găzduirea modelelor
- Confort cu Python, Docker și instrumente de bază de observabilitate
Public țintă
- Ingineri AI
- Profesioniști ML Ops
- Echipe QA responsabile de sistemele LLM din producție
