Curs de pregatire Modele de Limbaj de Mare Anvergură (LLMs) și Învățarea prin Întărire (RL)

Introducere în Modelele de Limbaj de Mare Anvergură (LLMs)

• Prezentare generală a LLMs
• Definiție și semnificație
• Aplicații în IA astăzi

Arhitectura Transformer

• Ce este un transformer și cum funcționează?
• Componente și caracteristici principale
• Încorporare și codificare pozițională
• Atenție multi-cap
• Rețea neuronală feed-forward
• Normalizare și conexiuni reziduale

Modele Transformer

• Mecanismul de auto-atenție
• Arhitectură encoder-decoder
• Încorporări poziționale
• BERT (Bidirectional Encoder Representations from Transformers)
• GPT (Generative Pretrained Transformer)

Optimizarea Performanței și Capcane

• Lungimea contextului
• Mamba și modele de spațiu de stare
• Atenție flash
• Transformatoare rare
• Transformatoare de vizualizare
• Importanța cuantizării

Îmbunătățirea Transformatoarelor

• Generarea de text augmentată cu recuperare
• Amestec de modele
• Arbore de gânduri

Ajustarea Fină

• Teoria adaptării de rang scăzut
• Ajustare fină cu QLora

Legile de Scalare și Optimizare în LLMs

• Importanța legilor de scalare pentru LLMs
• Scalarea datelor și a mărimii modelului
• Scalarea computațională
• Scalarea eficienței parametrilor

Optimizare

• Relația dintre mărimea modelului, mărimea datelor, bugetul de calcul și cerințele de inferență
• Optimizarea performanței și eficienței LLMs
• Bune practici și instrumente pentru antrenarea și ajustarea fină a LLMs

Antrenarea și Ajustarea Fină a LLMs

• Pași și provocări ale antrenării LLMs de la zero
• Achiziția și întreținerea datelor
• Cerințe de date la scară mare, CPU și memorie
• Provocări de optimizare
• Panorama LLMs open-source

Fundamentele Învățării prin Întărire (RL)

• Introducere în Învățarea prin Întărire
• Învățarea prin întărire pozitivă
• Definiție și concepte de bază
• Procesul de Decizie Markov (MDP)
• Programare dinamică
• Metode Monte Carlo
• Învățare prin Diferențe Temporale

Învățare Profundă prin Întărire

• Rețele Q Profunde (DQN)
• Optimizare Proximală a Politicii (PPO)
• Elemente ale Învățării prin Întărire

Integrarea LLMs și Învățării prin Întărire

• Combinarea LLMs cu Învățarea prin Întărire
• Cum este folosită RL în LLMs
• Învățarea prin Întărire cu Feedback Uman (RLHF)
• Alternative la RLHF

Studii de Caz și Aplicații

• Aplicații din lumea reală
• Povești de succes și provocări

Subiecte Avansate

• Tehnici avansate
• Metode avansate de optimizare
• Cercetări și dezvoltări de ultimă oră

Rezumat și Următorii Pași