Schița de curs
Introducere în Google Colab și Apache Spark
- Prezentare generală a Google Colab
- Introducere în Apache Spark
- Configurarea Spark în Google Colab
Procesarea datelor cu Apache Spark
- Lucrul cu RDD-uri și DataFrames
- Încărcarea și procesarea seturilor mari de date
- Utilizarea Spark SQL pentru interogarea datelor structurate
Analiza avansată cu Spark
- Învățarea automată cu Spark MLlib
- Efectuarea de analize în timp real
- Calcul distribuit cu Spark
Vizualizarea și colaborarea în Google Colab
- Integrarea Colab cu biblioteci populare de vizualizare
- Fluxuri de lucru colaborative cu notebook-uri Colab
- Partajarea și exportul rezultatelor
Optimizarea fluxurilor de lucru Big Data
- Optimizarea performanței Spark
- Optimizarea utilizării memoriei și a stocării
- Scalarea fluxurilor de lucru pentru seturi mari de date
Big Data în cloud
- Integrarea Google Colab cu instrumente bazate pe cloud
- Utilizarea stocării în cloud pentru date mari
- Lucrul cu Spark în medii distribuite în cloud
Studii de caz și bune practici
- Revizuirea aplicațiilor reale de big data
- Studii de caz folosind Apache Spark și Colab
- Bune practici pentru analiza datelor mari
Rezumat și pași următori
Cerințe
- Cunoștințe de bază despre conceptele de știința datelor
- Familiaritate cu Apache Spark
- Abilități de programare în Python
Publicul țintă
- Specialiști în știința datelor
- Ingineri de date
- Cercetători care lucrează cu date mari
Mărturii (3)
Cum să folosești datele satelitare deschise pentru aplicații reale
Tshering Dorji - Druk Holding and Investments
Curs - Advanced Geographic Information Systems (GIS)
Tradus de catre o masina
Făcerea exercițiilor
Joe Pang - Lands Department, Hong Kong
Curs - QGIS for Geographic Information System
Tradus de catre o masina
Exemplele practice ne-au permis să ne facem o idee clară despre modul în care funcționează programa. Explicațiile bune și integrarea conceptelor teoretice cu aplicările practice au fost apreciate.
Ian - Archeoworks Inc.
Curs - ArcGIS Fundamentals
Tradus de catre o masina