Schița de curs
Introducere în Manipularea Robotică și Învățarea Profundă
- Prezentare generală a sarcinilor de manipulare și componentelor sistemului
- Abordări tradiționale vs. bazate pe învățare
- Învățarea profundă în percepție, planificare și control
Percepție pentru Manipulare
- Detectarea vizuală a obiectelor pentru prindere
- Vederea 3D, detectarea adâncimii și procesarea norilor de puncte
- Antrenarea CNN-urilor pentru localizarea și segmentarea obiectelor
Planificarea și Detectarea Prinderii
- Algoritmi clasici de planificare a prinderii
- Învățarea pozițiilor de prindere din date și simulare
- Implementarea rețelelor de detectare a prinderii (de ex., GGCNN, Dex-Net)
Control și Planificare a Mișcării
- Cinematică inversă și generarea traiectoriilor
- Planificarea mișcării bazată pe învățare și învățarea prin imitație
- Învățarea prin întărire pentru politici de control al manipulării
Integrare cu ROS 2 și Medii de Simulare
- Configurarea nodurilor ROS 2 pentru percepție și control
- Simularea manipulatorilor robotici în Gazebo și Isaac Sim
- Integrarea modelelor neuronale pentru control în timp real
Învățare End-to-End pentru Manipulare
- Combinarea percepției, politicilor și controlului în rețele unificate
- Utilizarea datelor de demonstrație pentru învățarea politicilor supervizate
- Adaptarea domeniului între simulare și hardware real
Evaluare și Optimizare
- Metrici pentru succesul, stabilitatea și precizia prinderii
- Testare în condiții variate și perturbații
- Compresia modelelor și implementarea pe dispozitive edge
Proiect Practic: Prindere Robotică Bazată pe Învățare Profundă
- Proiectarea unei conducte de la percepție la acțiune
- Antrenarea și testarea unui model de detectare a prinderii
- Integrarea modelului într-un braț robotic simulat
Rezumat și Pași Următori
Cerințe
- Înțelegere solidă a cinematicii și dinamicii robotice
- Experiență cu Python și framework-uri de învățare profundă
- Familiaritate cu ROS sau middleware robotic similar
Publicul țintă
- Ingineri roboticieni care dezvoltă sisteme inteligente de manipulare
- Specialiști în percepție și control care lucrează la aplicații de prindere
- Cercetători și practicieni avansați în învățarea robotică și controlul bazat pe AI
Mărturii (2)
Furnizarea materialelor (mașină virtuală) pentru a intra direct în exerciții și explicarea nucleului Ros2. De ce lucrurile funcționează într-un anumit mod.
Arjan Bakema
Curs - Autonomous Navigation & SLAM with ROS 2
Tradus de catre o masina
cunoașterea și utilizarea IA pentru Robotica în Viitor.
Ryle - PHILIPPINE MILITARY ACADEMY
Curs - Artificial Intelligence (AI) for Robotics
Tradus de catre o masina