Mulțumim pentru trimiterea solicitării! Un membru al echipei noastre vă va contacta în curând.
Mulțumim pentru trimiterea rezervării! Un membru al echipei noastre vă va contacta în curând.
Schița de curs
Introducere în Parameter-Efficient Fine-Tuning (PEFT)
- Motivația și limitările fine-tuning-ului complet
- Prezentare generală a PEFT: obiective și beneficii
- Aplicații și cazuri de utilizare în industrie
LoRA (Low-Rank Adaptation)
- Conceptul și intuiția din spate a LoRA
- Implementarea LoRA folosind Hugging Face și PyTorch
- Hands-on: Fine-tuning-ul unui model cu LoRA
Adapter Tuning
- Cum funcționează modulele adapter
- Integrarea cu modelele bazate pe transformer
- Hands-on: Aplicarea Adapter Tuning pe un model transformer
Prefix Tuning
- Utilizarea soft prompts pentru fine-tuning
- Puncte forte și limitări comparativ cu LoRA și adaptere
- Hands-on: Prefix Tuning pe o sarcină LLM
Evaluarea și compararea metodelor PEFT
- Metrii pentru evaluarea performanței și eficienței
- Compromisuri privind viteza de antrenare, utilizarea memoriei și acuratețea
- Experimente de benchmarking și interpretarea rezultatelor
Deplasarea modelelor fine-tunuite
- Salvarea și încărcarea modelelor fine-tunuite
- Considerații privind deplasarea modelelor bazate pe PEFT
- Integrarea în aplicații și pipelines
Bune practici și extensii
- Combinarea PEFT cu cuantizare și distilare
- Utilizarea în setări cu resurse limitate și multilingve
- Direcții viitoare și domenii de cercetare active
Cerințe
- Înțelegerea fundamentelor de machine learning
- Experiență în lucrul cu modele mari de limbaj (LLM-uri)
- Familiaritate cu Python și PyTorch
Public-țintă
- Data scientists
- AI engineers
14 Ore
