Schița de curs

Concepte și Metrice de Performanță

  • Latență, debit, consum de energie, utilizarea resurselor
  • Puncte de blocare la nivel de sistem vs model
  • Profiling pentru inferență vs antrenare

Profiling pe Huawei Ascend

  • Utilizarea CANN Profiler și MindInsight
  • Diagnosticarea kernel-urilor și operatorilor
  • Modele de offload și mapare a memoriei

Profiling pe Biren GPU

  • Caracteristici de monitorizare a performanței din SDK-ul Biren
  • Fuziune de kernel-uri, aliniere a memoriei și cozi de execuție
  • Profiling conștient de putere și temperatură

Profiling pe Cambricon MLU

  • Instrumente de performanță BANGPy și Neuware
  • Vizibilitate la nivel de kernel și interpretare a jurnalelor
  • Integrarea profiler-ului MLU cu cadrele de implementare

Optimizare la Nivel de Graf și Model

  • Strategii de pruning și cuantizare a grafului
  • Fuziunea operatorilor și restructurarea grafului de calcul
  • Standardizarea dimensiunii de intrare și ajustarea loturilor

Optimizare a Memoriei și Kernel-urilor

  • Optimizarea layout-ului și reutilizării memoriei
  • Gestionarea eficientă a bufferelor pe mai multe cipseturi
  • Tehnici de ajustare la nivel de kernel pe fiecare platformă

Practici Recomandate Cross-Platform

  • Portabilitatea performanței: strategii de abstractizare
  • Construirea de pipeline-uri de ajustare partajate pentru medii multi-chip
  • Exemplu: ajustarea unui model de detectare a obiectelor pe Ascend, Biren și MLU

Rezumat și Pași Următori

Cerințe

  • Experiență în lucrul cu pipeline-uri de antrenare sau implementare a modelelor AI
  • Înțelegerea principiilor de calcul GPU/MLU și a optimizării modelelor
  • Familiaritate de bază cu instrumentele și metricile de profiling a performanței

Publicul țintă

  • Ingineri de performanță
  • Echipe de infrastructură pentru învățare automată
  • Arhitecți de sisteme AI
 21 Ore

Numărul de participanți


Pret per participant

Cursuri viitoare

Categorii înrudite