Curs de pregatire Construirea operatorilor AI personalizați cu CANN TIK și TVM

Introducere în dezvoltarea operatorilor personalizați

• De ce să construiești operatori personalizați? Cazuri de utilizare și constrângeri
• Structura runtime-ului CANN și punctele de integrare a operatorilor
• Prezentare generală a TBE, TIK și TVM în ecosistemul AI Huawei

Utilizarea TIK pentru programarea operatorilor la nivel scăzut

• Înțelegerea modelului de programare TIK și a API-urilor suportate
• Gestionarea memoriei și strategia de tiling în TIK
• Crearea, compilarea și înregistrarea unui operator personalizat cu CANN

Testarea și validarea operatorilor personalizați

• Testarea unitară și testarea de integrare a operatorilor în graf
• Depanarea problemelor de performanță la nivel de kernel
• Vizualizarea execuției operatorilor și a comportamentului buffer-elor

Programarea și optimizarea bazate pe TVM

• Prezentare generală a TVM ca compilator pentru operatori de tensor
• Scrierea unui schedule pentru un operator personalizat în TVM
• Tuning TVM, benchmarking și generare de cod pentru Ascend

Integrarea cu framework-uri și modele

• Înregistrarea operatorilor personalizați pentru MindSpore și ONNX
• Verificarea integrității modelului și a comportamentului de fallback
• Suport pentru grafuri cu mai mulți operatori cu precizie mixtă

Studii de caz și optimizări specializate

• Studiu de caz: convoluție de înaltă eficiență pentru forme de intrare mici
• Studiu de caz: optimizarea operatorului de atenție conștient de memorie
• Cele mai bune practici în implementarea operatorilor personalizați pe diferite dispozitive

Rezumat și pașii următori