Schița de curs
Pregătirea modelor de machine learning pentru deployment
- Impachetarea modelor cu Docker
- Exportul modelor din TensorFlow și PyTorch
- Aspecte legate de versioning și stocare
Servirea modelor în Kubernetes
- Prezentarea serverelor de inference
- Deployarea TensorFlow Serving și TorchServe
- Configurarea endpoint-urilor pentru modele
Tehnici de optimizare a inference
- Strategii de batching
- Gestionarea cerințelor concurente
- Ajustarea latenței și a throughput-ului
Autoscaling pentru workloads ML
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Provisioning GPU și managementul resurselor
- Configurarea nodurilor cu GPU
- Prezentarea plugin-ului de dispozitive NVIDIA
- Cerințe și limite de resurse pentru workloads ML
Strategii de rollout și lansare a modelor
- Deployment-uri blue/green
- Modele de canary rollout
- A/B testing pentru evaluarea modelor
Monitorizare și observabilitate pentru ML în producție
- Metrici pentru workloads de inference
- Practici de logging și tracing
- Dashboards și alertare
Considerații privind securitatea și fiabilitatea
- Siguranța endpoint-urilor pentru modele
- Politici de rețea și controlul accesului
- Asigurarea disponibilității ridicate
Rezumat și pași următori
Cerințe
- Înțelegerea fluxurilor de lucru pentru aplicații containerizate
- Experiență cu modele de machine learning bazate pe Python
- Familiaritate cu fundamentele Kubernetes
Audiența
- Engineeri ML
- Engineeri DevOps
- Echipe de platform engineering
Mărturii (3)
înțelegere de bază a containerelor/kubernetes și modul în care acestea interacționează caracteristicile platformei openshift
Eric Scholze - NOW IT GmbH
Curs - Introduction to Containers, Kubernetes & OpenShift
Tradus de catre o masina
About the microservices and how to maintenance kubernetes
Yufri Isnaini Rochmat Maulana - Bank Indonesia
Curs - Advanced Platform Engineering: Scaling with Microservices and Kubernetes
Formarea a îndeplinit așteptările prin explicațiile clare, exemplele din lumea reală și laboratoarele practice care au făcut temele complexe ușor de înțeles. A oferit insight-uri valoroase cu privire la orchestrarea contaiнерelor, securitatea, scalabilitatea și multe alte subiecte avansate.
Anna Wyszomirska-Szmyd - Akamai
Curs - Docker and Kubernetes advanced
Tradus de catre o masina