Intrati in legatura

Schița de curs

Prezentare generală a Capabilităților de Optimizare CANN

  • Cum este gestionată performanța inferenței în CANN
  • Obiective de optimizare pentru sistemele AI de margine și integrate
  • Înțelegerea utilizării AI Core și alocării memoriei

Utilizarea Graph Engine pentru Analiză

  • Introducere în Graph Engine și pipeline-ul de execuție
  • Vizualizarea graficelor operatorilor și a metricilor de runtime
  • Modificarea graficelor de calcul pentru optimizare

Instrumente de Profiling și Metrici de Performanță

  • Utilizarea instrumentului de profiling CANN (profiler) pentru analiza sarcinii de lucru
  • Analiza timpului de execuție al kernelului și a blocajelor
  • Profiling al accesului la memorie și strategii de tiling

Dezvoltarea Operatorilor Personalizați cu TIK

  • Prezentare generală a TIK și a modelului de programare a operatorilor
  • Implementarea unui operator personalizat folosind TIK DSL
  • Testarea și evaluarea performanței operatorului

Optimizare Avansată a Operatorilor cu TVM

  • Introducere în integrarea TVM cu CANN
  • Strategii de auto-ajustare pentru grafice de calcul
  • Când și cum să treci între TVM și TIK

Tehnici de Optimizare a Memoriei

  • Gestionarea layout-ului memoriei și plasarea bufferelor
  • Tehnici pentru reducerea consumului de memorie pe cip
  • Bune practici pentru execuția asincronă și reutilizare

Implementare în Lumea Reală și Studii de Caz

  • Studiu de caz: ajustarea performanței pentru pipeline-ul camerelor din orașe inteligente
  • Studiu de caz: optimizarea stivei de inferență pentru vehicule autonome
  • Ghiduri pentru profiling iterativ și îmbunătățire continuă

Rezumat și Pași Următori

Cerințe

  • Înțelegere avansată a arhitecturilor modelelor de învățare profundă și a fluxurilor de antrenament
  • Experiență în implementarea modelelor folosind CANN, TensorFlow sau PyTorch
  • Familiaritate cu linia de comandă Linux, scripturi shell și programare în Python

Audiență

  • Ingineri de performanță AI
  • Specialiști în optimizarea inferenței
  • Dezvoltatori care lucrează cu AI la margine sau sisteme în timp real
 14 Ore

Numărul de participanți


Pret per participant

Cursuri viitoare

Categorii înrudite