Schița de curs

Introducere

  • Ce sunt Large Language Models (LLMs)?
  • LLM-uri vs. modele NLP tradiționale
  • Prezentare generală a caracteristicilor și arhitecturii LLM-urilor
  • Provocări și limitări ale LLM-urilor

Înțelegerea LLMs

  • Ciclul de viață al unui LLM
  • Cum funcționează LLM-urile
  • Principalele componente ale unui LLM: codificator, decodificator, atenție, încorporări etc.

Noțiuni introductive

  • Configurarea mediului de dezvoltare
  • Instalarea unui LLM ca instrument de dezvoltare, de exemplu, Google Colab, Hugging Face

Lucrul cu LLMs

  • Explorarea opțiunilor LLM disponibile
  • Crearea și utilizarea unui LLM
  • Reglarea fină a unui LLM pe un set de date personalizat

Rezumarea textului

  • Înțelegerea sarcinii de rezumare a textului și a aplicațiilor sale
  • Utilizarea unui LLM pentru rezumarea extractivă și abstractivă a textelor
  • Evaluarea calității rezumatelor generate utilizând metrici precum ROUGE, BLEU etc.

Răspunsuri la întrebări

  • Înțelegerea sarcinii de răspuns la întrebări și a aplicațiilor sale
  • Utilizarea unui LLM pentru răspunsul la întrebări în domenii deschise și închise
  • Evaluarea acurateței răspunsurilor generate utilizând parametri precum F1, EM etc.

Generarea de text

  • Înțelegerea sarcinii de generare de text și a aplicațiilor sale
  • Utilizarea unui LLM pentru generarea condiționată și necondiționată de texte
  • Controlul stilului, tonului și conținutului textelor generate, utilizând parametri precum temperatura, top-k, top-p etc.

Integrarea LLM-urilor cu alte cadre și platforme

  • Utilizarea LLM-urilor cu PyTorch sau TensorFlow
  • Utilizarea LLM-urilor cu Flask sau Streamlit
  • Utilizarea LLM-urilor cu Google Cloud sau AWS

Depanare

  • Înțelegerea erorilor și a erorilor comune din LLM-uri
  • Utilizarea TensorBoard pentru a monitoriza și vizualiza procesul de instruire
  • Utilizarea PyTorch Lightning pentru a simplifica codul de instruire și a îmbunătăți performanța
  • Utilizarea seturilor de date Hugging Face pentru a încărca și preprocesa datele

Rezumat și etapele următoare

Cerințe

    O înțelegere a procesării limbajului natural și a învățării profunde Experiență cu Python și PyTorch sau TensorFlow Experiență de programare de bază

Audiență

    Dezvoltatorii Entuziaști NLP Oameni de știință de date
 14 ore

Cursuri înrudite

Categorii înrudite