Schița de curs
Introducere în platforma Stratio
- Prezentare generală a arhitecturii Stratio și a modulelor de bază
- Rolul modulelor Rocket și Intelligence în ciclul de viață al datelor
- Autentificarea și navigarea în interfața Stratio
Lucrul cu modulul Rocket
- Ingerarea datelor și crearea de pipeline-uri
- Conectarea surselor de date și configurarea transformărilor
- Utilizarea PySpark pentru sarcini de preprocesare în Rocket
Elemente esențiale PySpark pentru utilizatorii Stratio
- Structuri și operații de date în PySpark
- Constructe repetitive: utilizarea for, while, if/else
- Scrierea funcțiilor personalizate cu def și aplicarea lor
Utilizare avansată a Rocket cu PySpark
- Ingerare și transformări în flux continuu
- Utilizarea buclelor și funcțiilor în scenarii batch și în timp real
- Practici recomandate pentru performanța în pipeline-urile PySpark
Explorarea modulului Intelligence
- Prezentare generală a funcțiilor de modelare și analiză a datelor
- Selectarea, transformarea și explorarea caracteristicilor
- Rolul PySpark în analizele personalizate și obținerea de insights
Construirea fluxurilor de lucru avansate de analiză
- Crearea funcțiilor definite de utilizator (UDF) în Intelligence
- Aplicarea condiționalelor și buclelor pentru logica datelor
- Cazuri de utilizare: segmentare, agregare și predicție
Implementare și colaborare
- Salvarea, exportarea și reutilizarea fluxurilor de lucru
- Colaborarea cu alți membri ai echipei pe Stratio
- Revizuirea rezultatelor și integrarea cu instrumente downstream
Rezumat și pași următori
Cerințe
- Experiență în programarea Python
- Înțelegerea conceptelor de analiză de date sau procesare de date masive
- Cunoștințe de bază despre Apache Spark și calculul distribuit
Publicul țintă
- Ingineri de date care lucrează pe platforme bazate pe Stratio
- Analiști sau dezvoltatori care folosesc modulele Rocket și Intelligence
- Echipe tehnice care trec la fluxuri de lucru PySpark în Stratio
Mărturii (3)
Aflarea despre QGIS și un instrument care poate fi utilizat de către alți profesioniști din diferite domenii, precum topografii
Bame Duncan Koko - Bentel Technologies (Pty) Ltd
Curs - QGIS for Geographic Information System
Tradus de catre o masina
Cum să folosești datele satelitare deschise pentru aplicații reale
Tshering Dorji - Druk Holding and Investments
Curs - Advanced Geographic Information Systems (GIS)
Tradus de catre o masina
Exemplele practice ne-au permis să ne facem o idee clară despre modul în care funcționează programa. Explicațiile bune și integrarea conceptelor teoretice cu aplicările practice au fost apreciate.
Ian - Archeoworks Inc.
Curs - ArcGIS Fundamentals
Tradus de catre o masina