Intrati in legatura

Schița de curs

Introducere

  • Prezentare generală a provocărilor de scalare a învățării profunde
  • Prezentare generală a DeepSpeed și a caracteristicilor sale
  • DeepSpeed vs. alte biblioteci de învățare profundă distribuită

Începutul

  • Configurarea mediului de dezvoltare
  • Instalarea PyTorch și DeepSpeed
  • Configurarea DeepSpeed pentru antrenament distribuit

Funcționalități de Optimizare DeepSpeed

  • Pipeline-ul de antrenament DeepSpeed
  • ZeRO (optimizare de memorie)
  • Checkpointing de activare
  • Checkpointing de gradient
  • Paralelism de pipeline

Scalarea Modelelor cu DeepSpeed

  • Scalare de bază folosind DeepSpeed
  • Tehnici avansate de scalare
  • Considerații de performanță și bune practici
  • Tehnici de depanare și rezolvare a problemelor

Subiecte Avansate DeepSpeed

  • Tehnici avansate de optimizare
  • Utilizarea DeepSpeed cu antrenament de precizie mixtă
  • DeepSpeed pe diferite tipuri de hardware (de ex. GPU, TPU)
  • DeepSpeed cu mai multe noduri de antrenament

Integrarea DeepSpeed cu PyTorch

  • Integrarea DeepSpeed cu fluxurile de lucru PyTorch
  • Utilizarea DeepSpeed cu PyTorch Lightning

Depanare

  • Depanarea problemelor comune DeepSpeed
  • Monitorizare și logging

Rezumat și Pași Următori

  • Recapitularea conceptelor și caracteristicilor cheie
  • Bune practici pentru utilizarea DeepSpeed în producție
  • Resurse suplimentare pentru a afla mai multe despre DeepSpeed

Cerințe

  • Cunoștințe intermediare despre principiile învățării profunde
  • Experiență cu PyTorch sau alte framework-uri similare de învățare profundă
  • Familiaritate cu programarea în Python

Publicul Țintă

  • Data scientist-i
  • Ingineri de machine learning
  • Dezvoltatori
 21 Ore

Numărul de participanți


Pret per participant

Mărturii (3)

Cursuri viitoare

Categorii înrudite