Intrati in legatura
 Durata 14 ore

Schița de curs

Pregătirea modelor de machine learning pentru deployment

  • Impachetarea modelor cu Docker
  • Exportul modelor din TensorFlow și PyTorch
  • Aspecte legate de versioning și stocare

Servirea modelor în Kubernetes

  • Prezentarea serverelor de inference
  • Deployarea TensorFlow Serving și TorchServe
  • Configurarea endpoint-urilor pentru modele

Tehnici de optimizare a inference

  • Strategii de batching
  • Gestionarea cerințelor concurente
  • Ajustarea latenței și a throughput-ului

Autoscaling pentru workloads ML

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

Provisioning GPU și managementul resurselor

  • Configurarea nodurilor cu GPU
  • Prezentarea plugin-ului de dispozitive NVIDIA
  • Cerințe și limite de resurse pentru workloads ML

Strategii de rollout și lansare a modelor

  • Deployment-uri blue/green
  • Modele de canary rollout
  • A/B testing pentru evaluarea modelor

Monitorizare și observabilitate pentru ML în producție

  • Metrici pentru workloads de inference
  • Practici de logging și tracing
  • Dashboards și alertare

Considerații privind securitatea și fiabilitatea

  • Siguranța endpoint-urilor pentru modele
  • Politici de rețea și controlul accesului
  • Asigurarea disponibilității ridicate

Rezumat și pași următori

Cerințe

  • Înțelegerea fluxurilor de lucru pentru aplicații containerizate
  • Experiență cu modele de machine learning bazate pe Python
  • Familiaritate cu fundamentele Kubernetes

Audiența

  • Engineeri ML
  • Engineeri DevOps
  • Echipe de platform engineering

Numărul de participanți


Pret per participant

Mărturii (3)

Cursuri viitoare

Categorii înrudite