Curs de pregatire Optimizarea performanței rețelelor neuronale cu CANN SDK

Prezentare generală a capabilităților de optimizare CANN

• Cum este gestionată performanța inferenței în CANN
• Obiective de optimizare pentru sistemele AI edge și embedded
• Înțelegerea utilizării AI Core și a alocării memoriei

Utilizarea Graph Engine pentru analiză

• Introducere în Graph Engine și pipeline-ul de execuție
• Vizualizarea grafurilor de operatori și a metricilor de runtime
• Modificarea grafurilor computaționale pentru optimizare

Instrumente de profiling și metrici de performanță

• Utilizarea CANN Profiling Tool (profiler) pentru analiza workload-ului
• Analiza timpului de execuție al kernel-urilor și a blocajelor
• Profiling al accesului la memorie și strategii de tiling

Dezvoltarea operatorilor personalizați cu TIK

• Prezentare generală a TIK și a modelului de programare a operatorilor
• Implementarea unui operator personalizat folosind TIK DSL
• Testarea și evaluarea comparativă a performanței operatorilor

Optimizarea avansată a operatorilor cu TVM

• Introducere în integrarea TVM cu CANN
• Strategii de auto-tuning pentru grafuri computaționale
• Când și cum să comuți între TVM și TIK

Tehnici de optimizare a memoriei

• Gestionarea layout-ului memoriei și a plasării bufferelor
• Tehnici pentru reducerea consumului de memorie on-chip
• Bune practici pentru execuția asincronă și reutilizare

Implementare în lumea reală și studii de caz

• Studiu de caz: tuning de performanță pentru pipeline-ul camerelor smart city
• Studiu de caz: optimizarea stack-ului de inferență pentru vehicule autonome
• Ghid pentru profiling iterativ și îmbunătățire continuă

Rezumat și pașii următori