Schița de curs

Pregătirea Modelelor de Învățare Automată pentru Implementare

  • Împachetarea modelelor cu Docker
  • Exportarea modelelor din TensorFlow și PyTorch
  • Considerații privind versiunea și stocarea

Servirea Modelelor pe Kubernetes

  • Prezentare generală a serverelor de inferență
  • Implementarea TensorFlow Serving și TorchServe
  • Configurarea punctelor finale ale modelelor

Tehnici de Optimizare a Inferenței

  • Strategii de batching
  • Gestionarea cererilor concurente
  • Ajustarea latenței și a debitului

Autoscalarea Sarcinilor de Lucru ML

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

Configurarea GPU și Managementul Resurselor

  • Configurarea nodurilor GPU
  • Prezentare generală a plugin-ului NVIDIA
  • Cerințe și limite de resurse pentru sarcinile de lucru ML

Strategii de Lansare și Eliberare a Modelelor

  • Implementări blue/green
  • Modele de lansare canar
  • Teste A/B pentru evaluarea modelelor

Monitorizarea și Observabilitatea ML în Producție

  • Metrici pentru sarcinile de inferență
  • Practici de logare și urmărire
  • Panouri de control și alerte

Considerații de Securitate și Fiabilitate

  • Securizarea punctelor finale ale modelelor
  • Politici de rețea și controlul accesului
  • Asigurarea disponibilității ridicate

Rezumat și Pași Următori

Cerințe

  • Înțelegerea fluxurilor de lucru ale aplicațiilor containerizate
  • Experiență cu modele de învățare automată bazate pe Python
  • Familiaritate cu elementele de bază ale Kubernetes

Publicul Țintă

  • Ingineri ML
  • Ingineri DevOps
  • Echipe de inginerie de platformă
 14 Ore

Numărul de participanți


Pret per participant

Mărturii (5)

Cursuri viitoare

Categorii înrudite