Schița de curs

Prezentare generală a capacităților de optimizare CANN

  • Cum se gestionează performanța inferenței în CANN
  • Obiectivele de optimizare pentru sisteme AI la marginea rețelei și integrarea
  • Comprehesionarea utilizării AI Core și alocării memoriei

Folosirea Motorului Grafic pentru Analiză

  • Introducere în Motorul Grafic și pipeline-ul de execuție
  • Vizualizarea graficelor operatorilor și metricilor runtime
  • Modificarea grafului computational pentru optimizare

Instrumente de profilaj și metrice de performanță

  • Folosirea instrumentului de profilaj CANN (profiler) pentru analiza sarcinii de lucru
  • Analizarea timpului de execuție al nucleelor și a constrângerilor
  • Profilajul accesului la memorie și strategiile de tiling

Dezvoltarea operatorilor personalizați cu TIK

  • Prezentare generală a TIK și modelului de programare al operatorilor
  • Implementarea unui operator personalizat folosind DSL-ul TIK
  • Testarea și benchmarkul performanței operatorului

Optimizarea avansată a operatorilor cu TVM

  • Introducere în integrarea lui TVM cu CANN
  • Strategii de auto-tuning pentru graful computational
  • Când și cum să treceți între TVM și TIK

Tehnici de optimizare a memoriei

  • Gestionarea structurii de memorie și allocării buffer-elor
  • Tehnice pentru reducerea consumului de memorie pe chip
  • Practici recomandate pentru execuția asincronă și reutilizarea

Deploy real-world și studii de caz

  • Studiu de caz: ajustarea performanței pentru pipeline-ul de camere inteligente în orașul inteligență artificială
  • Studiu de caz: optimizarea pilotei de inferență pentru vehicule autonome
  • Directivile pentru profilaj iterativ și îmbunătățiri continue

Synopsis și următoarele pași

Cerințe

  • O înțelegere solidă a arhitecturilor modelelor de învățare adâncă și a fluxurilor de lucru de instruire
  • Experiență cu implementarea modelelor folosind CANN, TensorFlow sau PyTorch
  • Familiarizare cu CLI Linux, scripturi shell și programarea în Python

Audiență

  • Ingineri de performanță AI
  • Specialiști în optimizarea inferenței
  • Dezvoltatori care lucrează cu AI la marginea rețelei sau sistemele în timp real
 14 ore

Numărul de participanți


Pret per participant

Cursuri viitoare

Categorii înrudite