Intrati in legatura

Schița de curs

Pregătirea Modelelor de Învățare Automată pentru Implementare

  • Ambalarea modelelor cu Docker
  • Exportul modelelor din TensorFlow și PyTorch
  • Considerații privind versionarea și stocarea

Servirea Modelelor pe Kubernetes

  • Prezentare generală a serverelor de inferență
  • Implementarea TensorFlow Serving și TorchServe
  • Configurarea punctelor de acces ale modelelor

Tehnici de Optimizare a Inferenței

  • Strategii de batch
  • Gestionarea cererilor concurente
  • Reglarea latenței și a debitului

Scalarea Automată a Sarcinilor de Lucru ML

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

Provizionarea GPU și Managementul Resurselor

  • Configurarea nodurilor GPU
  • Prezentare generală a plugin-ului NVIDIA
  • Cerințe și limite de resurse pentru sarcinile de lucru ML

Strategii de Lansare și Eliberare a Modelelor

  • Implementări blue/green
  • Modele de lansare canar
  • Testarea A/B pentru evaluarea modelelor

Monitorizarea și Observabilitatea ML în Producție

  • Metrici pentru sarcinile de lucru de inferență
  • Practici de logging și tracing
  • Panouri de control și alertare

Considerații de Securitate și Fiabilitate

  • Securizarea punctelor de acces ale modelelor
  • Politici de rețea și controlul accesului
  • Asigurarea disponibilității ridicate

Rezumat și Pașii Următori

Cerințe

  • Înțelegerea fluxurilor de lucru ale aplicațiilor containerizate
  • Experiență cu modele de învățare automată bazate pe Python
  • Familiaritate cu elementele de bază ale Kubernetes

Publicul Țintă

  • Ingineri ML
  • Ingineri DevOps
  • Echipe de inginerie de platformă
 14 Ore

Numărul de participanți


Pret per participant

Mărturii (3)

Cursuri viitoare

Categorii înrudite