Schița de curs

Introducere în dezvoltarea operatorilor personalizați

  • De ce să construim operatori personalizați? Cazuri de utilizare și constrângeri
  • Structura runtime-ului CANN și punctele de integrare a operatorilor
  • Prezentare generală a TBE, TIK și TVM în ecosistemul AI Huawei

Utilizarea TIK pentru programarea operatorilor la nivel scăzut

  • Înțelegerea modelului de programare TIK și a API-urilor acceptate
  • Gestionarea memoriei și strategia de tiling în TIK
  • Crearea, compilarea și înregistrarea unui operator personalizat cu CANN

Testarea și validarea operatorilor personalizați

  • Testarea unitară și testarea de integrare a operatorilor în graf
  • Depanarea problemelor de performanță la nivel de kernel
  • Vizualizarea execuției operatorilor și a comportamentului buffer-ului

Planificarea și optimizarea bazate pe TVM

  • Prezentare generală a TVM ca compilator pentru operatori tensoriali
  • Scrierea unui plan pentru un operator personalizat în TVM
  • Ajustarea, benchmarking-ul și generarea de cod în TVM pentru Ascend

Integrarea cu framework-uri și modele

  • Înregistrarea operatorilor personalizați pentru MindSpore și ONNX
  • Verificarea integrității modelului și a comportamentului de fallback
  • Susținerea grafurilor cu mai mulți operatori cu precizie mixtă

Studii de caz și optimizări specializate

  • Studiu de caz: convoluție de înaltă eficiență pentru forme de intrare mici
  • Studiu de caz: optimizarea operatorului de atenție conștient de memorie
  • Cele mai bune practici în implementarea operatorilor personalizați pe dispozitive

Rezumat și pași următori

Cerințe

  • Cunoștințe solide despre structura internă a modelelor AI și calculul la nivel de operator
  • Experiență cu mediile de dezvoltare Python și Linux
  • Familiaritate cu compilatoare de rețele neuronale sau optimizări la nivel de graf

Audiență

  • Ingineri de compilatoare care lucrează la lanțuri de instrumente AI
  • Dezvoltatori de sisteme concentrați pe optimizări AI de nivel scăzut
  • Dezvoltatori care construiesc operatori personalizați sau se adresează sarcinilor AI noi
 14 Ore

Numărul de participanți


Pret per participant

Cursuri viitoare

Categorii înrudite