Curs de pregatire Administrarea Apache Spark

Acest training condus de un instructor, live în Moldova (online sau la fața locului), este destinat specialiștilor în știința datelor și inginerilor de nivel intermediar care doresc să utilizeze Google Colab și Apache Spark pentru procesarea și analiza datelor mari.

La finalul acestui training, participanții vor putea:

• Să configureze un mediu de big data folosind Google Colab și Spark.
• Să proceseze și să analizeze seturi mari de date eficient cu Apache Spark.
• Să vizualizeze datele mari într-un mediu colaborativ.
• Să integreze Apache Spark cu instrumente bazate pe cloud.

Analiza Big Data presupune procesul de examinare a unor volume mari de seturi de date variate pentru a descoperi corelații, modele ascunse și alte informații utile.

Industria sănătății dispune de cantități uriașe de date medicale și clinice complexe și eterogene. Aplicarea analizei Big Data asupra datelor din domeniul sănătății prezintă un potențial imens în obținerea de informații pentru îmbunătățirea furnizării serviciilor medicale. Cu toate acestea, amploarea acestor seturi de date aduce mari provocări în analize și aplicații practice într-un mediu clinic.

În cadrul acestui training condus de un instructor, live (la distanță), participanții vor învăța cum să efectueze analize Big Data în domeniul sănătății, parcurgând o serie de exerciții practice în laborator.

La finalul acestui training, participanții vor fi capabili să:

• Instaleze și configureze instrumente de analiză Big Data, cum ar fi Hadoop MapReduce și Spark
• Înțeleagă caracteristicile datelor medicale
• Aplice tehnici Big Data pentru a gestiona datele medicale
• Studieze sistemele și algoritmii Big Data în contextul aplicațiilor din sănătate

Publicul țintă

• Dezvoltatori
• Specialiști în Știința Datelor

Formatul cursului

• Parte teoretică, parte discuții, exerciții și practică intensivă.

Notă

• Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.

Acest training condus de un instructor, live în Moldova (online sau la fața locului), este destinat administratorilor de sistem care doresc să învețe cum să configureze, să implementeze și să gestioneze clustere Hadoop în organizația lor.

La sfârșitul acestui training, participanții vor putea:

• Instala și configura Apache Hadoop.
• Înțelege cele patru componente majore ale ecosistemului Hadoop: HDFS, MapReduce, YARN și Hadoop Common.
• Utiliza Hadoop Distributed File System (HDFS) pentru a scala un cluster la sute sau mii de noduri.  
• Configura HDFS să funcționeze ca motor de stocare pentru implementări Spark on-premise.
• Configura Spark pentru a accesa soluții alternative de stocare, cum ar fi Amazon S3 și sisteme de baze de date NoSQL, precum Redis, Elasticsearch, Couchbase, Aerospike, etc.
• Efectua sarcini administrative, cum ar fi provizionarea, gestionarea, monitorizarea și securizarea unui cluster Apache Hadoop.

În acest training condus de un instructor, live în Moldova (la fața locului sau la distanță), participanții vor învăța cum să configureze și să integreze diferite framework-uri de procesare a fluxurilor de date cu sisteme existente de stocare a datelor mari și aplicații software și microservicii conexe.

La finalul acestui training, participanții vor putea:

• Să instaleze și să configureze diferite framework-uri de procesare a fluxurilor de date, cum ar fi Spark Streaming și Kafka Streaming.
• Să înțeleagă și să selecteze cel mai potrivit framework pentru sarcină.
• Să proceseze date continuu, concurent și pe bază de înregistrări individuale.
• Să integreze soluții de procesare a fluxurilor de date cu baze de date existente, depozite de date, lacuri de date etc.
• Să integreze cea mai potrivită bibliotecă de procesare a fluxurilor de date cu aplicații enterprise și microservicii.

Acest training oferă o introducere practică în construirea fluxurilor de lucru scalabile pentru procesarea datelor și Învățarea Automată folosind PySpark. Participanții învață cum funcționează Apache Spark în ecosistemele moderne de Big Data și cum să proceseze eficient seturi mari de date folosind principiile calculului distribuit.

Acest training condus de un instructor, live în Moldova (online sau la fața locului) este destinat oamenilor de știință care doresc să folosească stiva SMACK pentru a construi platforme de procesare a datelor pentru soluții de big data.

La finalul acestui training, participanții vor putea:

• Să implementeze o arhitectură de pipeline de date pentru procesarea datelor mari.
• Să dezvolte o infrastructură de cluster cu Apache Mesos și Docker.
• Să analizeze date cu Spark și Scala.
• Să gestioneze date nestructurate cu Apache Cassandra.

Acest training condus de un instructor, live în Moldova (online sau la fața locului) este destinat inginerilor care doresc să configureze și să implementeze sistemul Apache Spark pentru procesarea unor volume foarte mari de date.

La finalul acestui training, participanții vor putea:

• Instala și configura Apache Spark.
• Procesarea și analiza rapidă a unor seturi de date foarte mari.
• Înțelege diferența dintre Apache Spark și Hadoop MapReduce și când să folosească fiecare.
• Integrarea Apache Spark cu alte instrumente de învățare automată.

Curba de învățare a Apache Spark crește lent la început, fiind necesar un efort considerabil pentru a obține primele rezultate. Acest curs își propune să treacă peste această parte dificilă inițială. După parcurgerea acestui curs, participanții vor înțelege elementele de bază ale Apache Spark, vor face distincția clară între RDD și DataFrame, vor învăța API-urile Python și Scala, vor înțelege executoarele și sarcinile, etc. De asemenea, urmând cele mai bune practici, acest curs se concentrează puternic pe implementarea în cloud, Databricks și AWS. Studenții vor înțelege, de asemenea, diferențele dintre AWS EMR și AWS Glue, unul dintre cele mai recente servicii Spark ale AWS.

PUBLICUL ȚINTĂ:

Inginer de date, DevOps, Specialist în Știința Datelor

OBiECTIV:

Acest curs va introduce Apache Spark. Studenții vor învăța cum se integrează Spark în ecosistemul Big Data și cum să folosească Spark pentru analiza datelor. Cursul acoperă shell-ul Spark pentru analiza interactivă a datelor, mecanismele interne ale Spark, API-urile Spark, Spark SQL, Spark streaming, precum și învățarea automată și GraphX.

PUBLICUL ȚINTĂ:

Dezvoltatori / Analiști de Date

Acest training condus de un instructor, live în Moldova (online sau la fața locului), este destinat oamenilor de știință de date și dezvoltatorilor care doresc să folosească Spark NLP, construit pe Apache Spark, pentru a dezvolta, implementa și scala modele și conducte de procesare a textului în limbaj natural.

La finalul acestui training, participanții vor putea:

• Să configureze mediul de dezvoltare necesar pentru a începe construirea conductelor NLP cu Spark NLP.
• Să înțeleagă caracteristicile, arhitectura și beneficiile utilizării Spark NLP.
• Să folosească modelele pre-antrenate disponibile în Spark NLP pentru a implementa procesarea textului.
• Să învețe cum să construiască, să antreneze și să scalare modele Spark NLP pentru proiecte de nivel de producție.
• Să aplice clasificare, inferență și analiză de sentiment pe cazuri de utilizare din lumea reală (date clinice, informații despre comportamentul clienților etc.).

În acest training condus de un instructor, în format live în Moldova, participanții vor învăța cum să folosească Python și Spark împreună pentru a analiza date mari, lucrând la exerciții practice.

La finalul acestui training, participanții vor fi capabili să:

• Învețe cum să folosească Spark cu Python pentru a analiza date mari.
• Lucreze la exerciții care imită cazuri din lumea reală.
• Folosească diverse instrumente și tehnici pentru analiza datelor mari folosind PySpark.

Acest training condus de un instructor, live în Moldova (online sau la fața locului), este destinat dezvoltatorilor care doresc să utilizeze și să integreze Spark, Hadoop și Python pentru a procesa, analiza și transforma seturi de date mari și complexe.

La finalul acestui training, participanții vor putea:

• Să configureze mediul necesar pentru a începe procesarea datelor mari cu Spark, Hadoop și Python.
• Să înțeleagă caracteristicile, componentele de bază și arhitectura Spark și Hadoop.
• Să învețe cum să integreze Spark, Hadoop și Python pentru procesarea datelor mari.
• Să exploreze instrumentele din ecosistemul Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka și Flume).
• Să construiască sisteme de recomandare bazate pe filtrare colaborativă asemănătoare cu cele de la Netflix, YouTube, Amazon, Spotify și Google.
• Să utilizeze Apache Mahout pentru a scala algoritmii de învățare automată.

Spark SQL este modulul Apache Spark pentru lucrul cu date structurate și nestructurate. Spark SQL oferă informații despre structura datelor, precum și despre calculul care este efectuat. Aceste informații pot fi folosite pentru a realiza optimizări. Două utilizări comune ale Spark SQL sunt:
- executarea interogărilor SQL.
- citirea datelor dintr-o instalare existentă Hive.

În acest training condus de un instructor, live (la fața locului sau la distanță), participanții vor învăța cum să analizeze diverse tipuri de seturi de date folosind Spark SQL.

La finalul acestui training, participanții vor putea:

• Instala și configura Spark SQL.
• Efectua analiza datelor folosind Spark SQL.
• Interoga seturi de date în diferite formate.
• Vizualiza datele și rezultatele interogărilor.

Formatul Cursului

• Prelegere interactivă și discuții.
• Multe exerciții și practică.
• Implementare practică într-un mediu live-lab.

Opțiuni de Personalizare a Cursului

• Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.

Stratio este o platformă centrată pe date care integrează date masive, inteligență artificială și guvernanță într-o singură soluție. Modulele sale Rocket și Intelligence permit explorarea, transformarea și analiza avansată a datelor în mediile de întreprindere.

Acest training condus de un instructor, live (online sau la fața locului), este destinat profesioniștilor de date de nivel intermediar care doresc să utilizeze eficient modulele Rocket și Intelligence din Stratio cu PySpark, concentrându-se pe structuri repetitive, funcții definite de utilizator și logică avansată a datelor.

La finalul acestui training, participanții vor putea:

• Naviga și lucrează în platforma Stratio folosind modulele Rocket și Intelligence.
• Aplică PySpark în contextul ingerării, transformării și analizei datelor.
• Folosește bucle și logică condițională pentru a controla fluxurile de date și sarcinile de inginerie a caracteristicilor.
• Creează și gestionează funcții definite de utilizator (UDF) pentru operațiuni reutilizabile de date în PySpark.

Formatul cursului

• Prelegere interactivă și discuții.
• Multe exerciții și practică.
• Implementare practică într-un mediu live-lab.

Opțiuni de personalizare a cursului

• Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.