Intrati in legatura

Schița de curs

Introducere în Fine-Tuning-ul Eficient din Punct de Vedere al Parametrilor (PEFT)

  • Motivația și limitările fine-tuning-ului complet
  • Prezentare generală a PEFT: obiective și beneficii
  • Aplicații și cazuri de utilizare în industrie

LoRA (Adaptare de Rang Scăzut)

  • Conceptul și intuiția din spatele LoRA
  • Implementarea LoRA folosind Hugging Face și PyTorch
  • Exercițiu practic: Fine-tuning al unui model cu LoRA

Adapter Tuning

  • Cum funcționează modulele adapter
  • Integrarea cu modele bazate pe transformatoare
  • Exercițiu practic: Aplicarea Adapter Tuning la un model bazat pe transformatoare

Prefix Tuning

  • Utilizarea prompturilor soft pentru fine-tuning
  • Puncte forte și limitări comparativ cu LoRA și adaptoare
  • Exercițiu practic: Prefix Tuning pe o sarcină LLM

Evaluarea și compararea metodelor PEFT

  • Metrici pentru evaluarea performanței și eficienței
  • Compromisuri în viteza de antrenare, utilizarea memoriei și acuratețe
  • Experimente de benchmarking și interpretarea rezultatelor

Implementarea modelelor cu Fine-Tuning realizat

  • Salvarea și încărcarea modelelor cu fine-tuning realizat
  • Considerații de implementare pentru modele bazate pe PEFT
  • Integrarea în aplicații și fluxuri de lucru

Bune practici și extensii

  • Combinarea PEFT cu cuantizare și distilare
  • Utilizarea în medii cu resurse limitate și multilingve
  • Direcții viitoare și domenii de cercetare active

Rezumat și pași următori

Cerințe

  • Înțelegerea bazelor învățării automate
  • Experiență în lucrul cu modele lingvistice de mari dimensiuni (LLM)
  • Cunoașterea limbajului Python și a framework-ului PyTorch

Publicul țintă

  • Specialiști în știința datelor
  • Ingineri AI
 14 Ore

Numărul de participanți


Pret per participant

Cursuri viitoare

Categorii înrudite