Schița de curs
Introducere în inferența AI cu Docker
- Înțelegerea workload-urilor de inferență AI
- Beneficiile inferenței containerizate
- Scenarii de implementare și constrângeri
Construirea containerelor de inferență AI
- Selectarea imaginilor de bază și a framework-urilor
- Împachetarea modelelor pretrainate
- Structurarea codului de inferență pentru execuția în container
Securizarea serviciilor AI containerizate
- Minimizarea suprafeței de atac a containerului
- Gestionarea secretelor și a fișierelor sensibile
- Strategii de networking sigur și expunere a API-urilor
Tehnici de implementare portabilă
- Optimizarea imaginilor pentru portabilitate
- Asigurarea unor medii de runtime previzibile
- Gestionarea dependențelor pe diferite platforme
Implementare și testare locală
- Rularea serviciilor local cu Docker
- Depanarea containerelor de inferență
- Testarea performanței și fiabilității
Implementarea pe servere și VM-uri în cloud
- Adaptarea containerelor pentru medii remote
- Configurarea accesului securizat la server
- Implementarea API-urilor de inferență pe VM-uri în cloud
Utilizarea Docker Compose pentru sisteme AI multi-servicii
- Orchestrarea inferenței cu componente suport
- Gestionarea variabilelor de mediu și a configurărilor
- Scalarea microserviciilor cu Compose
Monitorizarea și mentenanța serviciilor de inferență AI
- Abordări de logging și observabilitate
- Detectarea defecțiunilor în pipeline-urile de inferență
- Actualizarea și versionarea modelelor în producție
Rezumat și pașii următori
Cerințe
- Înțelegerea conceptelor de bază de machine learning
- Experiență cu Python sau dezvoltare backend
- Familiaritate cu conceptele fundamentale de containere
Public țintă
- Dezvoltatori
- Ingineri backend
- Echipe care implementează servicii AI
Mărturii (2)
Așa cum am spus înainte, pentru o persoană ca mine (fără experiență), acesta a fost un punct de plecare pentru a înțelege funcționalitățile și caracteristicile acestor programe/unelte etc.
Patrick V. Duylovski - UBB + DZI (KBC GROUP)
Curs - Docker and Kubernetes
Tradus de catre o masina
program de curs structurat pe mai multe niveluri.
Bert Paelinckx - Cube SoftwareSolutions
Curs - Introduction to Docker
Tradus de catre o masina