Schița de curs

Introducere în Tehnici Eficiente la Parametri Fine-Tuning (PEFT)

  • Motivația și limitările ajustării complete
  • Perspectivă generală asupra PEFT: obiective și beneficii
  • Aplicații și scenarii de utilizare în industrie

LoRA (Adaptare Rang Redus)

  • Concept și intuiție împină LoRA
  • Implementarea LoRA folosind Hugging Face și PyTorch
  • Practic: Ajustarea unui model cu LoRA

Tunare Adapter

  • Mecanism de funcționare al modulului adapter
  • Integrarea cu modele bazate pe transformere
  • Practic: Aplicarea Tunării Adaptrice la un model de transformere

Tunare Prefix

  • Folosirea prompturilor software pentru ajustare
  • Puncte forte și limitări în comparație cu LoRA și adaptri
  • Practic: Tunarea Prefix pe o sarcină LLM

Evaluarea și Compararea Tehnicilor PEFT

  • Metrici pentru evaluarea performanței și eficienței
  • Compromisuri în viteză de antrenament, utilizare a memoriei și acuratețe
  • Experimente de benchmarking și interpretarea rezultatelor

Deployarea Modelului Ajustat

  • Salvarea și încărcarea modelului ajustat
  • Considerente de deploy pentru modele bazate pe PEFT
  • Integrarea în aplicații și fluxuri de lucru

Best Practices și Extensii

  • Combinarea PEFT cu cantitizare și distilare
  • Folosirea în setări cu resurse reduse și multilingvism
  • Direcții viitoare și domenii de cercetare active

Rezumat și Următoarele Pași

Cerințe

  • O înțelegere a fundamentelor învățării automate
  • Experiență cu modele de limbaj mari (LLMs)
  • Cunoștințe cu Python și PyTorch

Publicul vizat

  • Scientiști ai datelor
  • Ingineri AI
 14 ore

Numărul de participanți


Pret per participant

Upcoming Courses

Categorii înrudite