Schița de curs
Introducere
- Prezentare generală a provocărilor de scalare a învățării profunde
- Prezentare generală a DeepSpeed și a caracteristicilor sale
- DeepSpeed vs. alte biblioteci de învățare profundă distribuită
Începutul
- Configurarea mediului de dezvoltare
- Instalarea PyTorch și DeepSpeed
- Configurarea DeepSpeed pentru antrenament distribuit
Funcționalități de Optimizare DeepSpeed
- Pipeline-ul de antrenament DeepSpeed
- ZeRO (optimizare de memorie)
- Checkpointing de activare
- Checkpointing de gradient
- Paralelism de pipeline
Scalarea Modelelor cu DeepSpeed
- Scalare de bază folosind DeepSpeed
- Tehnici avansate de scalare
- Considerații de performanță și bune practici
- Tehnici de depanare și rezolvare a problemelor
Subiecte Avansate DeepSpeed
- Tehnici avansate de optimizare
- Utilizarea DeepSpeed cu antrenament de precizie mixtă
- DeepSpeed pe diferite tipuri de hardware (de ex. GPU, TPU)
- DeepSpeed cu mai multe noduri de antrenament
Integrarea DeepSpeed cu PyTorch
- Integrarea DeepSpeed cu fluxurile de lucru PyTorch
- Utilizarea DeepSpeed cu PyTorch Lightning
Depanare
- Depanarea problemelor comune DeepSpeed
- Monitorizare și logging
Rezumat și Pași Următori
- Recapitularea conceptelor și caracteristicilor cheie
- Bune practici pentru utilizarea DeepSpeed în producție
- Resurse suplimentare pentru a afla mai multe despre DeepSpeed
Cerințe
- Cunoștințe intermediare despre principiile învățării profunde
- Experiență cu PyTorch sau alte framework-uri similare de învățare profundă
- Familiaritate cu programarea în Python
Publicul Țintă
- Data scientist-i
- Ingineri de machine learning
- Dezvoltatori
Mărturii (3)
Mi-a plăcut foarte mult finalul unde am avut ocazia să jucăm cu CHAT GPT. Sala nu era configuraționată cel mai bine pentru aceasta - ar fi fost mai util să avem câteva mese mici în loc de o masă mare, astfel încât să putem forma grupuri mai mici și să ne brainstorm-urim idei.
Nola - Laramie County Community College
Curs - Artificial Intelligence (AI) Overview
Tradus de catre o masina
Lucrând pe baza principiilor de bază într-un mod concentrat, și trecerea la aplicarea studiilor de caz în aceeași zi
Maggie Webb - Department of Jobs, Regions, and Precincts
Curs - Artificial Neural Networks, Machine Learning, Deep Thinking
Tradus de catre o masina
A păru că trecusem prin informații direct relevante într-un ritm potrivit (adică fără materiale de umplutură)
Maggie Webb - Department of Jobs, Regions, and Precincts
Curs - Introduction to the use of neural networks
Tradus de catre o masina