Schița de curs

Fundațiile clasificării audive

  • Tipuri de evenimente sonore: envirnamentale, mecanice, generate de oameni
  • Pregătire generală a cazurilor de utilizare: supraveghere, monitorizare, automatizare
  • Clasificarea audio în comparație cu detectarea și segmentarea

Date audio și extragerea caracteristicilor

  • Tipuri de fișiere audio și formate
  • Cu ratea de preluare, fenestruirea și considerente privind dimensiunea ferestrei
  • Extragerea MFCC-uri, caracteristicile cromatice și mel-spectrogramelor

Pregătirea datelor și anotații

  • Seturi de date UrbanSound8K, ESC-50 și personalizate
  • Etichetarea evenimentelor sonore și granițelor temporale
  • Equilibrarea seturilor de date și augmentarea audio

Construirea modelului de clasificare a audivelor

  • Folosirea rețelelor neuronale convolutionale (CNN) pentru audio
  • Intrarea în model: undă rapidă brută vs. caracteristici
  • Funcțiile de pierdere, metricile de evaluare și suprapusul

Detectarea evenimentelor și localizarea temporala

  • Strategii de detectie bazate pe cadre si segmente
  • Post-procesarea detecțiilor folosind praguri și suavizare
  • Vizualizarea predicțiilor pe cronologia audio

Subiecte avansate și procesarea în timp real

  • Aprenderea transferului pentru scenarii cu cantități mici de date
  • Implementarea modelelor cu TensorFlow Lite sau ONNX
  • Procesarea audio în flux continuu și considerente privind întârzierile

Dezvoltarea proiectului și scenarii de aplicare

  • Dizolvarea unui pipeline complet: de la preluare la clasificare
  • Dezvoltarea unui concept de bază pentru supraveghere, control de calitate sau monitorizare
  • Jurnalizarea, alertarea și integrarea cu panouri de instrumente sau API-uri

Rezumat și următoarele pași

Cerințe

  • Omul trebuie să înțeleagă conceptele de învățare automată și antrenarea modelului
  • Experiența cu programarea Python și preprocesarea datelor
  • Cunoștințe despre fundamentalele audio digitale

Auditoriu

  • Scientifici ai datelor
  • Ingineri de învățare automată
  • Cercetători și dezvoltatori în procesarea semnalului audio
 21 ore

Numărul de participanți


Pret per participant

Upcoming Courses

Categorii înrudite