Schița de curs

Introducere în Optimizarea Modelelor Mari

  • Prezentare generală a arhitecturilor modelelor mari
  • Provocări în fine-tuningul modelelor mari
  • Importanța optimizării rentabile

Tehnici de Antrenament Distribuit

  • Introducere în paralelismul de date și modele
  • Framework-uri pentru antrenament distribuit: PyTorch și TensorFlow
  • Scalarea pe mai multe GPU și noduri

Cuantizarea și Tăierea Modelelor

  • Înțelegerea tehnicilor de cuantizare
  • Aplicarea tăierii pentru a reduce dimensiunea modelului
  • Compromisuri între acuratețe și eficiență

Optimizarea Hardware-ului

  • Alegerea hardware-ului potrivit pentru sarcinile de fine-tuning
  • Optimizarea utilizării GPU și TPU
  • Folosirea acceleratoarelor specializate pentru modele mari

Gestionarea Eficientă a Datelor

  • Strategii de gestionare a seturilor de date mari
  • Preprocesarea și împachetarea pentru performanță
  • Tehnici de augmentare a datelor

Implementarea Modelelor Optimizate

  • Tehnici de implementare a modelelor ajustate
  • Monitorizarea și menținerea performanței modelului
  • Exemple din lumea reală de implementare a modelelor optimizate

Tehnici Avansate de Optimizare

  • Explorarea adaptării de rang scăzut (LoRA)
  • Folosirea adaptoarelor pentru fine-tuning modular
  • Tendințe viitoare în optimizarea modelelor

Rezumat și Pași Următori

Cerințe

  • Experiență cu framework-uri de deep learning precum PyTorch sau TensorFlow
  • Familiaritate cu modelele de limbaj mari și aplicațiile lor
  • Înțelegere a conceptelor de calcul distribuit

Public țintă

  • Ingineri de învățare automată
  • Specialiști în AI în cloud
 21 Ore

Numărul de participanți


Pret per participant

Cursuri viitoare

Categorii înrudite