Schița de curs
Pregătirea Modelelor de Învățare Automată pentru Implementare
- Împachetarea modelelor cu Docker
- Exportarea modelelor din TensorFlow și PyTorch
- Considerații privind versiunea și stocarea
Servirea Modelelor pe Kubernetes
- Prezentare generală a serverelor de inferență
- Implementarea TensorFlow Serving și TorchServe
- Configurarea punctelor finale ale modelelor
Tehnici de Optimizare a Inferenței
- Strategii de batching
- Gestionarea cererilor concurente
- Ajustarea latenței și a debitului
Autoscalarea Sarcinilor de Lucru ML
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Configurarea GPU și Managementul Resurselor
- Configurarea nodurilor GPU
- Prezentare generală a plugin-ului NVIDIA
- Cerințe și limite de resurse pentru sarcinile de lucru ML
Strategii de Lansare și Eliberare a Modelelor
- Implementări blue/green
- Modele de lansare canar
- Teste A/B pentru evaluarea modelelor
Monitorizarea și Observabilitatea ML în Producție
- Metrici pentru sarcinile de inferență
- Practici de logare și urmărire
- Panouri de control și alerte
Considerații de Securitate și Fiabilitate
- Securizarea punctelor finale ale modelelor
- Politici de rețea și controlul accesului
- Asigurarea disponibilității ridicate
Rezumat și Pași Următori
Cerințe
- Înțelegerea fluxurilor de lucru ale aplicațiilor containerizate
- Experiență cu modele de învățare automată bazate pe Python
- Familiaritate cu elementele de bază ale Kubernetes
Publicul Țintă
- Ingineri ML
- Ingineri DevOps
- Echipe de inginerie de platformă
Mărturii (5)
Interactivitate, fără să citim diapozitive toată ziua
Emilien Bavay - IRIS SA
Curs - Kubernetes Advanced
Tradus de catre o masina
el a fost răbdător și a înțeles că am rămas în urmă
Albertina - REGNOLOGY ROMANIA S.R.L.
Curs - Deploying Kubernetes Applications with Helm
Tradus de catre o masina
Formarea a fost mai practică
Siphokazi Biyana - Vodacom SA
Curs - Kubernetes on AWS
Tradus de catre o masina
Învațarea despre Kubernetes.
Felix Bautista - SGS GULF LIMITED ROHQ
Curs - Kubernetes on Azure (AKS)
Tradus de catre o masina
A oferat o bază solidă pentru Docker și Kubernetes.
Stephen Dowdeswell - Global Knowledge Networks UK
Curs - Docker (introducing Kubernetes)
Tradus de catre o masina