Schița de curs
Introducere în containerizarea accelerată cu GPU
- Înțelegerea utilizării GPU-ului în workflow-urile de deep learning
- Cum susține Docker workload-urile bazate pe GPU
- Considerații cheie privind performanța
Instalarea și configurarea NVIDIA Container Toolkit
- Setarea driverele și compatibilitatea CUDA
- Validarea accesului la GPU în interiorul containerelor
- Configurarea mediului de runtime
Construirea imaginilor Docker cu suport de GPU
- Utilizarea imaginilor de bază CUDA
- Pachetarea cadrelor AI în containere pregătite pentru GPU
- Managementul dependențelor pentru training și inferență
Rularea workload-urilor AI accelerate cu GPU
- Executarea job-urilor de training folosind GPU-uri
- Managementul workload-urilor multi-GPU
- Monitorizarea utilizării GPU
Optimizarea performanței și alocarea resurselor
- Limitarea și izolarea resurselor GPU
- Optimizarea memoriei, dimensiunii loturilor (batch sizes) și plasamentului dispozitivelor
- Reglarea performanței și diagnosticarea problemelor
Inferența și servirea modelelor containerizate
- Construirea containerelor pregătite pentru inferență
- Servirea workload-urilor cu încărcare mare pe GPU
- Integrarea rulătoarelor de modele (model runners) și a API-urilor
Scalarea workload-urilor GPU cu Docker
- Strategii pentru training distribuit pe GPU
- Scalarea microserviciilor de inferență
- Coordinarea sistemelor AI multi-container
Securitatea și fiabilitatea containerelor cu suport de GPU
- Asigurarea unui acces sigur la GPU în medii partajate
- Întărirea (hardening) imaginilor de container
- Managementul actualizărilor, versiunilor și compatibilității
Rezumat și pașii următori
Cerințe
- Înțelegerea fundamentelor de deep learning
- Experiență cu Python și cadre comune de AI
- Familiarizare cu conceptele de bază ale containerizării
Public țintă
- Ingineri de deep learning
- Echipе de cercetare și dezvoltare
- Traineri de modele AI
Mărturii (1)
Formarea a îndeplinit așteptările prin explicațiile clare, exemplele din lumea reală și laboratoarele practice care au făcut temele complexe ușor de înțeles. A oferit insight-uri valoroase cu privire la orchestrarea contaiнерelor, securitatea, scalabilitatea și multe alte subiecte avansate.
Anna Wyszomirska-Szmyd - Akamai
Curs - Docker and Kubernetes advanced
Tradus de catre o masina