Schița de curs
Introducere în platforma Stratio
- Prezentarea arhitecturii Stratio și a modulelor de bază
- Rolul modulelor Rocket și Intelligence în ciclul de viață al datelor
- Autentificarea și navigarea în interfața Stratio
Lucrul cu modulul Rocket
- Ingerarea datelor și crearea de pipeline-uri
- Conectarea surselor de date și configurarea transformărilor
- Folosirea PySpark pentru sarcini de preprocessing în Rocket
Elemente esențiale PySpark pentru utilizatorii Stratio
- Structuri de date și operațiuni PySpark
- Constructe repetitive: utilizarea for, while, if/else
- Scrierea funcțiilor personalizate cu def și aplicarea lor
Utilizarea avansată a modulului Rocket cu PySpark
- Ingerare streaming și transformări
- Folosirea buclelor și funcțiilor în scenarii batch și în timp real
- Cele mai bune practici pentru performanță în pipeline-uri PySpark
Explorarea modulului Intelligence
- Prezentarea funcționalităților de modelare și analiză a datelor
- Selecția, transformarea și explorarea caracteristicilor
- Rolul PySpark în analize personalizate și insight-uri
Construirea fluxurilor avansate de analiză
- Crearea funcțiilor definite de utilizator (UDF) în Intelligence
- Aplicarea condiționalelor și buclelor pentru logica datelor
- Cazuri de utilizare: segmentare, agregare și predicție
Implementare și colaborare
- Salvarea, exportarea și reutilizarea fluxurilor de lucru
- Colaborarea cu alți membri ai echipei pe Stratio
- Revizuirea rezultatelor și integrarea cu instrumente downstream
Rezumat și pașii următori
Cerințe
- Experiență în programarea Python
- Înțelegerea conceptelor de analiză a datelor sau procesare big data
- Cunoștințe de bază despre Apache Spark și calcul distribuit
Public țintă
- Ingineri de date care lucrează pe platforme bazate pe Stratio
- Analiști sau dezvoltatori care folosesc modulele Rocket și Intelligence
- Echipe tehnice în tranziție către fluxuri de lucru PySpark în cadrul Stratio
Mărturii (3)
Aflarea despre QGIS și un instrument care poate fi utilizat de către alți profesioniști din diferite domenii, precum topografii
Bame Duncan Koko - Bentel Technologies (Pty) Ltd
Curs - QGIS for Geographic Information System
Tradus de catre o masina
Cum să folosești datele satelitare deschise pentru aplicații reale
Tshering Dorji - Druk Holding and Investments
Curs - Advanced Geographic Information Systems (GIS)
Tradus de catre o masina
Exemplele practice ne-au permis să ne facem o idee clară despre modul în care funcționează programa. Explicațiile bune și integrarea conceptelor teoretice cu aplicările practice au fost apreciate.
Ian - Archeoworks Inc.
Curs - ArcGIS Fundamentals
Tradus de catre o masina
