Schița de curs
Introducere în ecosistemele Big Data
- Prezentare generală a tehnologiilor și arhitecturilor big data
- Procesare batch vs. procesare în timp real
- Strategii de stocare a datelor pentru scalabilitate
Procesarea avansată a datelor cu Apache Spark
- Optimizarea job-urilor Spark pentru performanță
- Transformări și acțiuni avansate
- Lucrul cu structured streaming
Machine Learning la scară largă
- Tehnici distribuite de antrenare a modelelor
- Optimizarea hiperparametrilor pe seturi mari de date
- Deploy-ul modelelor în medii big data
Deep Learning pentru Big Data
- Integrarea TensorFlow și PyTorch cu Spark
- Pipeline-uri distribuite de antrenare deep learning
- Cazuri de utilizare în analiza imaginilor, textului și seriilor temporale
Analiza în timp real și Data Streaming
- Apache Kafka pentru ingestia datelor în streaming
- Framework-uri de procesare a stream-urilor
- Monitorizare și alerte în sistemele în timp real
Guvernanța datelor, securitate și etică
- Cerințe de confidențialitate și conformitate a datelor
- Controlul accesului și criptarea în sistemele big data
- Considerații etice în analiza la scară largă
Integrarea Big Data cu Business Intelligence
- Vizualizarea datelor și dashboarding pentru big data
- Conectarea pipeline-urilor big data la instrumentele BI
- Obținerea de rezultate de business prin advanced analytics
Rezumat și pașii următori
Cerințe
- Înțelegere solidă a conceptelor de analiză a datelor și modelare statistică
- Experiență cu instrumente de procesare a datelor și limbaje de programare precum Python, R sau Scala
- Familiaritate cu framework-uri de calcul distribuit, cum ar fi Hadoop sau Spark
Audiență
- Data scientists care își propun să stăpânească procesarea datelor la scară largă și analiza predictivă
- Analiști seniori care doresc să proiecteze și să implementeze workflow-uri analitice avansate
- Profesioniști din R&D axați pe soluții inovatoare bazate pe date
Mărturii (3)
Aflarea despre QGIS și un instrument care poate fi utilizat de către alți profesioniști din diferite domenii, precum topografii
Bame Duncan Koko - Bentel Technologies (Pty) Ltd
Curs - QGIS for Geographic Information System
Tradus de catre o masina
Cum să folosești datele satelitare deschise pentru aplicații reale
Tshering Dorji - Druk Holding and Investments
Curs - Advanced Geographic Information Systems (GIS)
Tradus de catre o masina
Exemplele practice ne-au permis să ne facem o idee clară despre modul în care funcționează programa. Explicațiile bune și integrarea conceptelor teoretice cu aplicările practice au fost apreciate.
Ian - Archeoworks Inc.
Curs - ArcGIS Fundamentals
Tradus de catre o masina
