Mulțumim pentru trimiterea solicitării! Un membru al echipei noastre vă va contacta în curând.
Mulțumim pentru trimiterea rezervării! Un membru al echipei noastre vă va contacta în curând.
Schița de curs
Introducere
- Prezentare generală a provocărilor de scalare a învățării profunde
- Prezentare generală a DeepSpeed și a caracteristicilor sale
- DeepSpeed vs. alte biblioteci de învățare profundă distribuită
Început
- Configurarea mediului de dezvoltare
- Instalarea PyTorch și DeepSpeed
- Configurarea DeepSpeed pentru antrenament distribuit
Caracteristici de optimizare DeepSpeed
- Pipeline-ul de antrenament DeepSpeed
- ZeRO (optimizare de memorie)
- Checkpointing al activării
- Checkpointing al gradientului
- Paralelism de pipeline
Scalarea modelelor cu DeepSpeed
- Scalare de bază folosind DeepSpeed
- Tehnici avansate de scalare
- Considerații de performanță și bune practici
- Tehnici de depanare și troubleshooting
Subiecte avansate DeepSpeed
- Tehnici avansate de optimizare
- Utilizarea DeepSpeed cu antrenament de precizie mixtă
- DeepSpeed pe diferite tipuri de hardware (de ex. GPU, TPU)
- DeepSpeed cu noduri multiple de antrenament
Integrarea DeepSpeed cu PyTorch
- Integrarea DeepSpeed cu fluxurile de lucru PyTorch
- Utilizarea DeepSpeed cu PyTorch Lightning
Depanare
- Depanarea problemelor comune DeepSpeed
- Monitorizare și logging
Rezumat și pași următori
- Recapitulare a conceptelor și caracteristicilor cheie
- Bune practici pentru utilizarea DeepSpeed în producție
- Resurse suplimentare pentru a afla mai multe despre DeepSpeed
Cerințe
- Cunoștințe intermediare despre principiile învățării profunde
- Experiență cu PyTorch sau framework-uri similare de învățare profundă
- Cunoașterea programării în Python
Public țintă
- Oameni de știință de date
- Ingineri de machine learning
- Dezvoltatori
21 Ore
Mărturii (2)
Organizația, conform agendei propuse, cunoștințele extinse ale instruiționarului în acest domeniu
Ali Kattan - TWPI
Curs - Natural Language Processing with TensorFlow
Tradus de catre o masina
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.
Paul Lee
Curs - TensorFlow for Image Recognition
Tradus de catre o masina