Intrati in legatura

Schița de curs

Introducere în Fine-Tuning Eficient de Parametri (PEFT)

  • Motivația și limitările fine-tuning-ului complet
  • Prezentare generală a PEFT: obiective și beneficii
  • Aplicații și cazuri de utilizare în industrie

LoRA (Adaptare de Rang Scăzut)

  • Conceptul și intuiția din spatele LoRA
  • Implementarea LoRA folosind Hugging Face și PyTorch
  • Practică: Fine-tuning al unui model cu LoRA

Adapter Tuning

  • Cum funcționează modulele adapter
  • Integrarea cu modele bazate pe transformere
  • Practică: Aplicarea Adapter Tuning pe un model de transformator

Prefix Tuning

  • Folosirea prompt-urilor soft pentru fine-tuning
  • Puncte forte și limitări comparativ cu LoRA și adaptoare
  • Practică: Prefix Tuning pe o sarcină LLM

Evaluarea și Compararea Metodelor PEFT

  • Metrici pentru evaluarea performanței și eficienței
  • Compromisuri în viteza de antrenare, utilizarea memoriei și acuratețe
  • Experimente de benchmarking și interpretarea rezultatelor

Implementarea Modelelor Ajustate

  • Salvarea și încărcarea modelelor ajustate
  • Considerații de implementare pentru modelele bazate pe PEFT
  • Integrarea în aplicații și fluxuri de lucru

Bune Practici și Extensii

  • Combinarea PEFT cu cuantizare și distilare
  • Utilizare în setări cu resurse limitate și multilingvistice
  • Direcții viitoare și domenii de cercetare active

Rezumat și Pași Următori

Cerințe

  • Cunoștințe de bază despre învățarea automată
  • Experiență în lucrul cu modele lingvistice mari (LLMs)
  • Familiaritate cu Python și PyTorch

Publicul țintă

  • Data scientiști
  • Ingineri de AI
 14 Ore

Numărul de participanți


Pret per participant

Cursuri viitoare

Categorii înrudite