Mulțumim pentru trimiterea solicitării! Un membru al echipei noastre vă va contacta în curând.
Mulțumim pentru trimiterea rezervării! Un membru al echipei noastre vă va contacta în curând.
Schița de curs
Concepte și metrici de performanță
- Latență, throughput, consum de energie, utilizarea resurselor
- Blocaje la nivel de sistem vs. model
- Profiling pentru inferență vs. antrenare
Profiling pe Huawei Ascend
- Utilizarea CANN Profiler și MindInsight
- Diagnosticarea kernel-urilor și operatorilor
- Modele de offload și mapare a memoriei
Profiling pe Biren GPU
- Funcționalități de monitorizare a performanței din Biren SDK
- Fuziunea kernel-urilor, alinierea memoriei și cozile de execuție
- Profiling conștient de putere și temperatură
Profiling pe Cambricon MLU
- Instrumente de performanță BANGPy și Neuware
- Vizibilitate la nivel de kernel și interpretarea log-urilor
- Integrarea profiler-ului MLU cu framework-urile de deployment
Optimizare la nivel de graf și model
- Strategii de pruning și cuantizare a grafului
- Fuziunea operatorilor și restructurarea grafului computațional
- Standardizarea dimensiunii input-ului și tuning-ul batch-ului
Optimizarea memoriei și a kernel-urilor
- Optimizarea layout-ului și reutilizării memoriei
- Gestionarea eficientă a buffer-elor între chipset-uri
- Tehnici de tuning la nivel de kernel pentru fiecare platformă
Bune practici cross-platform
- Portabilitatea performanței: strategii de abstractizare
- Construirea unor pipeline-uri comune de tuning pentru medii multi-chip
- Exemplu: tuning-ul unui model de detecție a obiectelor pe Ascend, Biren și MLU
Rezumat și pașii următori
Cerințe
- Experiență în lucrul cu antrenarea modelelor AI sau pipeline-uri de deployment
- Înțelegerea principiilor de calcul GPU/MLU și a optimizării modelelor
- Familiaritate de bază cu instrumentele și metricile de profiling al performanței
Public țintă
- Ingineri de performanță
- Echipe de infrastructură machine learning
- Arhitecți de sisteme AI
21 Ore
