Intrati in legatura

Schița de curs

Introducere în containerizarea accelerată cu GPU

  • Înțelegerea utilizării GPU-ului în workflow-urile de deep learning
  • Cum susține Docker workload-urile bazate pe GPU
  • Considerații cheie privind performanța

Instalarea și configurarea NVIDIA Container Toolkit

  • Setarea driverele și compatibilitatea CUDA
  • Validarea accesului la GPU în interiorul containerelor
  • Configurarea mediului de runtime

Construirea imaginilor Docker cu suport de GPU

  • Utilizarea imaginilor de bază CUDA
  • Pachetarea cadrelor AI în containere pregătite pentru GPU
  • Managementul dependențelor pentru training și inferență

Rularea workload-urilor AI accelerate cu GPU

  • Executarea job-urilor de training folosind GPU-uri
  • Managementul workload-urilor multi-GPU
  • Monitorizarea utilizării GPU

Optimizarea performanței și alocarea resurselor

  • Limitarea și izolarea resurselor GPU
  • Optimizarea memoriei, dimensiunii loturilor (batch sizes) și plasamentului dispozitivelor
  • Reglarea performanței și diagnosticarea problemelor

Inferența și servirea modelelor containerizate

  • Construirea containerelor pregătite pentru inferență
  • Servirea workload-urilor cu încărcare mare pe GPU
  • Integrarea rulătoarelor de modele (model runners) și a API-urilor

Scalarea workload-urilor GPU cu Docker

  • Strategii pentru training distribuit pe GPU
  • Scalarea microserviciilor de inferență
  • Coordinarea sistemelor AI multi-container

Securitatea și fiabilitatea containerelor cu suport de GPU

  • Asigurarea unui acces sigur la GPU în medii partajate
  • Întărirea (hardening) imaginilor de container
  • Managementul actualizărilor, versiunilor și compatibilității

Rezumat și pașii următori

Cerințe

  • Înțelegerea fundamentelor de deep learning
  • Experiență cu Python și cadre comune de AI
  • Familiarizare cu conceptele de bază ale containerizării

Public țintă

  • Ingineri de deep learning
  • Echipе de cercetare și dezvoltare
  • Traineri de modele AI
 21 Ore

Numărul de participanți


Pret per participant

Mărturii (1)

Cursuri viitoare

Categorii înrudite