Curs de pregatire Clasificarea audio și detectarea evenimentelor cu ML

Bazele clasificării audio

• Tipuri de evenimente sonore: de mediu, mecanice, generate de om
• Prezentare generală a cazurilor de utilizare: supraveghere, monitorizare, automatizare
• Clasificare audio vs detectare vs segmentare

Date audio și extragerea caracteristicilor

• Tipuri de fișiere și formate audio
• Considerații privind rata de eșantionare, ferestrele și dimensiunea cadrelor
• Extragerea MFCC-urilor, a caracteristicilor chroma și a mel-spectrogramelor

Pregătirea datelor și adnotarea

• UrbanSound8K, ESC-50 și seturi de date personalizate
• Etichetarea evenimentelor sonore și a limitelor temporale
• Echilibrarea seturilor de date și augmentarea audio

Construirea modelelor de clasificare audio

• Utilizarea rețelelor neuronale convoluționale (CNN) pentru audio
• Intrarea modelului: formă de undă brută vs caracteristici
• Funcții de pierdere, metrici de evaluare și supraadaptare

Detectarea evenimentelor și localizarea temporală

• Strategii de detectare bazate pe cadre și pe segmente
• Post-procesarea detecțiilor folosind praguri și netezire
• Vizualizarea predicțiilor pe axele temporale audio

Subiecte avansate și procesare în timp real

• Transfer learning pentru scenarii cu date puține
• Implementarea modelelor cu TensorFlow Lite sau ONNX
• Procesarea audio în streaming și considerații privind latența

Dezvoltarea proiectului și scenarii de aplicare

• Proiectarea unui pipeline complet: de la ingerare la clasificare
• Dezvoltarea unui proof-of-concept pentru supraveghere, controlul calității sau monitorizare
• Logging, alertare și integrare cu dashboard-uri sau API-uri

Rezumat și pașii următori