Schița de curs
Introducere în containerizarea accelerată pe GPU
- Înțelegerea utilizării GPU în fluxurile de lucru deep learning
- Cum suportă Docker sarcinile bazate pe GPU
- Considerente cheie de performanță
Instalarea și configurarea NVIDIA Container Toolkit
- Configurarea driverelor și compatibilitatea CUDA
- Validarea accesului la GPU în interiorul containerelor
- Configurarea mediului runtime
Construirea imaginilor Docker activate pe GPU
- Utilizarea imaginilor de bază CUDA
- Împachetarea framework-urilor AI în containere pregătite pentru GPU
- Gestionarea dependențelor pentru training și inferență
Rularea sarcinilor AI accelerate pe GPU
- Executarea joburilor de training folosind GPU-uri
- Gestionarea sarcinilor multi-GPU
- Monitorizarea utilizării GPU
Optimizarea performanței și alocarea resurselor
- Limitarea și izolarea resurselor GPU
- Optimizarea memoriei, a batch size-urilor și a plasării dispozitivelor
- Tuning de performanță și diagnosticare
Inferență containerizată și model serving
- Construirea containerelor pregătite pentru inferență
- Servirea sarcinilor de mare încărcare pe GPU-uri
- Integrarea model runner-ilor și a API-urilor
Scalarea sarcinilor GPU cu Docker
- Strategii pentru training GPU distribuit
- Scalarea microserviciilor de inferență
- Coordonarea sistemelor AI multi-container
Securitate și fiabilitate pentru containerele activate pe GPU
- Asigurarea accesului sigur la GPU în medii partajate
- Întărirea imaginilor containerelor
- Gestionarea update-urilor, versiunilor și compatibilității
Rezumat și pașii următori
Cerințe
- Înțelegerea fundamentelor deep learning
- Experiență cu Python și framework-uri AI comune
- Familiaritate cu conceptele de bază ale containerizării
Public țintă
- Ingineri de deep learning
- Echipe de cercetare și dezvoltare
- Traineri de modele AI
Mărturii (2)
Așa cum am spus înainte, pentru o persoană ca mine (fără experiență), acesta a fost un punct de plecare pentru a înțelege funcționalitățile și caracteristicile acestor programe/unelte etc.
Patrick V. Duylovski - UBB + DZI (KBC GROUP)
Curs - Docker and Kubernetes
Tradus de catre o masina
program de curs structurat pe mai multe niveluri.
Bert Paelinckx - Cube SoftwareSolutions
Curs - Introduction to Docker
Tradus de catre o masina