Mulțumim pentru trimiterea solicitării! Un membru al echipei noastre vă va contacta în curând.
Mulțumim pentru trimiterea rezervării! Un membru al echipei noastre vă va contacta în curând.
Durata 14 ore
Schița de curs
Pregătirea modelor de machine learning pentru deployment
- Impachetarea modelor cu Docker
- Exportul modelor din TensorFlow și PyTorch
- Aspecte legate de versioning și stocare
Servirea modelor în Kubernetes
- Prezentarea serverelor de inference
- Deployarea TensorFlow Serving și TorchServe
- Configurarea endpoint-urilor pentru modele
Tehnici de optimizare a inference
- Strategii de batching
- Gestionarea cerințelor concurente
- Ajustarea latenței și a throughput-ului
Autoscaling pentru workloads ML
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Provisioning GPU și managementul resurselor
- Configurarea nodurilor cu GPU
- Prezentarea plugin-ului de dispozitive NVIDIA
- Cerințe și limite de resurse pentru workloads ML
Strategii de rollout și lansare a modelor
- Deployment-uri blue/green
- Modele de canary rollout
- A/B testing pentru evaluarea modelor
Monitorizare și observabilitate pentru ML în producție
- Metrici pentru workloads de inference
- Practici de logging și tracing
- Dashboards și alertare
Considerații privind securitatea și fiabilitatea
- Siguranța endpoint-urilor pentru modele
- Politici de rețea și controlul accesului
- Asigurarea disponibilității ridicate
Rezumat și pași următori
Cerințe
- Înțelegerea fluxurilor de lucru pentru aplicații containerizate
- Experiență cu modele de machine learning bazate pe Python
- Familiaritate cu fundamentele Kubernetes
Audiența
- Engineeri ML
- Engineeri DevOps
- Echipe de platform engineering
Mărturii (1)
Îmi place partea de Kubernetes din training, pentru că am avut niște taskuri cu poduri și porturi K8s și a fost plăcut să înțeleg mai bine acum. Mulțumesc!
Laura Miron - Betfair
Curs - Docker and Kubernetes
Tradus de catre o masina