Cursuri de pregatire Fundamentele Apache Spark

Acest training în direcția instrucțuratorului (în timp real, online sau presencial) este destinat specialistelor intermedii în domeniul științei datelor și inginerilor care doresc să folosească Google Colab și Apache Spark pentru procesarea și analiza datelor mari.

La sfârșitul acestui training, participanții vor putea:

• Configura un mediu de date mari folosind Google Colab și Spark.
• Procesa și analiza eficient seturi mari de date cu ajutorul Apache Spark.
• Visualiza datele mari într-un mediu colaborativ.
• Integra Apache Spark cu instrumente bazate pe cloud.

Analiza datelor mari implică procesul de examinare a unor cantități mari de seturi de date variate pentru a descoperi corelații, tipare ascunse și alte informații utile.

Industria sănătății are cantități masive de date medicale și clinice eterogene complexe. Aplicarea analizelor de date mari asupra datelor de sănătate prezintă un potențial imens în obținerea unor perspective pentru îmbunătățirea furnizării asistenței medicale. Cu toate acestea, enormitatea acestor seturi de date prezintă provocări mari în analize și aplicații practice într-un mediu clinic.

În cadrul acestui instruire, instruit în direct (de la distanță), participanții vor învăța cum să efectueze analize de date mari în sănătate, în timp ce parcurg o serie de exerciții practice în laborator live.

Până la sfârșitul acestui antrenament, participanții vor putea:

• Instalați și configurați instrumente de analiză a datelor mari precum Hadoop MapReduce și Spark
• Înțelegeți caracteristicile datelor medicale
• Aplicați tehnici de date mari pentru a trata datele medicale
• Studiați sisteme de date mari și algoritmi în contextul aplicațiilor pentru sănătate

Public

• Dezvoltatori
• Oamenii de știință de date

Formatul cursului

• Partea de prelegere, o discuție parțială, exerciții și practici practice.

Notă

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a vă organiza.

Această instruire live, condusă de instructor în Moldova (online sau la fața locului) este destinată administratorilor de sisteme care doresc să învețe cum să configureze, să implementeze și să gestioneze clustere Hadoop în cadrul organizației lor.

La finalul acestei instruirii, participanții vor putea:

• Instalați și configurați Apache Hadoop.
• Înțelegeți cele patru componente majore din ecosistemul Hadoop: HDFS, MapReduce, YARN și Hadoop Common.
• Folosiți Sistemul de Fișiere Distribuit Hadoop (HDFS) pentru a scala un cluster la sute sau mii de noduri.  
• Setați HDFS ca motor de stocare pentru implementări Spark locale.
• Setați Spark pentru a accesa soluții alternative de stocare, cum ar fi Amazon S3 și sisteme de baze de date NoSQL, precum Redis, Elasticsearch, Couchbase, Aerospike, etc.
• Efectuați sarcini administrative, cum ar fi provizionarea, gestionarea, monitorizarea și securizarea unui cluster Apache Hadoop.

În acest antrenament condus de instrucțor, live, în Moldova (pe loc sau la distanță), participanții vor afla cum să configureze și să integreze diferite cadre de procesare a fluxurilor cu sistemele existente de stocare a datelor mari și cu aplicațiile și microserviciile asociate.

La finalul acestui antrenament, participanții vor putea:

• Să instaleze și să configureze diferite cadre de procesare a fluxurilor, cum ar fi Spark Streaming și Kafka Streaming.
• Să înțeleagă și să aleagă cea mai potrivită cadru pentru sarcină.
• Să proceseze datele continuu, simultan și pe baza fiecărui înregistrare.
• Să integreze soluțiile de procesare a fluxurilor cu bazele de date existente, depozitele de date, lacurile de date, etc.
• Să integreze biblioteca de procesare a fluxurilor cea mai potrivită cu aplicațiile și microserviciile enterprise.

Această instruire condusă de un instructor, în direct (online sau prezent) se adresează științistilor de date care doresc să folosească stiva SMACK pentru a construi platforme de procesare a datelor pentru soluții cu date la scară largă.

La finalul acestei instruirile, participanții vor putea:

• Implementa o arhitectură de pipeline de date pentru procesarea datelor la scară largă.
• Dezvolta infrastructura unui cluster cu Apache Mesos și Docker.
• Analiza datele cu Spark și Scala.
• Gestioneaza datele nestructurate cu Apache Cassandra.

Acest curs de instruire live, condus de un instructor în Moldova (online sau la fața locului) se adresează administratorilor de sistem de nivel începător sau intermediar care doresc să implementeze, să mențină și să optimizeze clusterele Spark.

La finalul acestui curs de formare, participanții vor fi capabili să:

• Să instaleze și să configureze Apache Spark în diverse medii.
• Să gestioneze resursele clusterului și să monitorizeze aplicațiile Spark.
• Să optimizeze performanța clusterelor Spark.
• Să implementeze măsuri de securitate și să asigure o disponibilitate ridicată.
• Depanarea și rezolvarea problemelor comune ale Spark.

Curbarea de învățare a Apache Spark crește lent la început, necesitând multă energie pentru a obține primul rezultat. Acest curs are ca scop trecerea peste prima parte dificilă. După finalizarea acestui curs, participanții vor înțelege noțiunile de bază ale Apache Spark, vor distinge clar RDD de DataFrame, vor învăța API-urile Python și Scala, vor înțelege executorii și sarcinile, etc. De asemenea, urmărind cele mai bune practici, acest curs se concentrează puternic pe implementarea în cloud, Databricks și AWS. Studenții vor înțelege, de asemenea, diferențele dintre AWS EMR și AWS Glue, unul dintre serviciile Spark cele mai recente ale AWS.

AUDIENȚĂ:

Data Engineer, DevOps, Data Scientist

OBIETIV:

Acest curs va introduce Apache Spark. Studenții vor învăța cum se integrează Spark în ecosistemul Big Data și cum să folosească Spark pentru analiza datelor. Cursul acoperă shell-ul Spark pentru analiza interactivă a datelor, componente interne ale Spark, API-uri Spark, Spark SQL, fluxare Spark și învățarea automată și GraphX.

PUBLICUL:

Dezvoltatori / Analiști de date

Acest curs de formare live, condus de un instructor în Moldova (online sau la fața locului) se adresează cercetătorilor și dezvoltatorilor de date care doresc să utilizeze Spark NLP, construit pe baza Apache Spark, pentru a dezvolta, implementa și extinde modele și conducte de procesare a textului în limbaj natural.

Până la sfârșitul acestei formări, participanții vor fi capabili să:

• Să configureze mediul de dezvoltare necesar pentru a începe construirea de conducte NLP cu Spark NLP.
• Să înțeleagă caracteristicile, arhitectura și beneficiile utilizării Spark NLP.
• Să utilizeze modelele pre-antrenate disponibile în Spark NLP pentru a implementa prelucrarea textului.
• Învățați cum să construiți, să antrenați și să scalați modelele Spark NLP pentru proiecte de nivel de producție.
• Aplicați clasificarea, inferența și analiza sentimentelor pe cazuri reale de utilizare (date clinice, informații privind comportamentul clienților etc.).

În cadrul acestui curs de formare live, condus de un instructor în Moldova, participanții vor învăța cum să utilizeze Python și Spark împreună pentru a analiza date mari, pe măsură ce lucrează la exerciții practice.

Până la sfârșitul acestui training, participanții vor fi capabili să:

• Să învețe cum să utilizeze Spark cu Python pentru a analiza Big Data.
• Să lucreze la exerciții care imită cazuri din lumea reală.
• Să utilizeze diferite instrumente și tehnici pentru analiza datelor mari utilizând PySpark.

Această instruire live, cu instructor, în Moldova (online sau la fața locului) se adresează dezvoltatorilor care doresc să utilizeze și să integreze Spark, Hadoop și Python pentru a procesa, analiza și transforma seturi de date mari și complexe.

La sfârșitul acestui training, participanții vor fi capabili să:

• Să configureze mediul necesar pentru a începe procesarea datelor mari cu Spark, Hadoop și Python.
• Să înțeleagă caracteristicile, componentele de bază și arhitectura Spark și Hadoop.
• Să învețe cum să integreze Spark, Hadoop și Python pentru prelucrarea datelor mari.
• Explorați instrumentele din ecosistemul Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka și Flume).
• Construiți sisteme de recomandare prin filtrare colaborativă similare cu Netflix, YouTube, Amazon, Spotify și Google.
• Utilizați Apache Mahout pentru a scala algoritmi de învățare automată.

Spark SQL este modulul Apache Spark pentru lucrul cu date structurate și nestructurate. Spark SQL oferă informații despre structura datelor precum și despre calculul efectuat. Aceste informații pot fi folosite pentru a realiza optimizări. Două utilizări comune ale Spark SQL sunt:
- pentru a executa interogări SQL.
- pentru a citi date dintr-o instalare Hive existentă.

În această instruire condusă de instructor (in locație sau la distanță), participanții vor învăța cum să analizeze diverse tipuri de seturi de date folosind Spark SQL.

Laur finalului acestei instruirii, participanții vor putea:

• Instala și configura Spark SQL.
• Efectua analiza datelor folosind Spark SQL.
• Citi date din diverse formate.
• Vizualiza date și rezultate ale interogărilor.

Formatul Cursului

• Predare interactivă și discuții.
• Multe exerciții și practici.
• Implementarea manevrerilor într-un mediu live-lab.

Opțiuni de Personalizare a Cursului

• Pentru a solicita o instruire personalizată pentru acest curs, vă rugăm să ne contactați pentru a aranja detalii.

Stratio este o platformă centrată pe date care integrează big data, inteligența artificială și guvernanța într-o singură soluție. Modulele Rocket și Intelligence permit explorarea rapidă a datelor, transformarea și analize avansate în mediul enterprise.

Această formare condușă de instrucțoare (online sau pe locație) este destinată profesionalilor intermediari care doresc să utilizeze eficient modulele Rocket și Intelligence din Stratio cu PySpark, concentrându-se pe structuri de buclă, funcții definite de utilizator și logică de date avansată.

La finalul acestei forme de instruire, participanții vor putea:

• Navigați și lucrați în platforma Stratio folosind modulele Rocket și Intelligence.
• Aplicați PySpark în contextul ingestionării, transformării și analizei datelor.
• Utilizați bucle și logica condițională pentru a controla fluxurile de date și sarcinile de inginerie a caracteristicilor.
• Creați și gestionați funcții definite de utilizator (UDFs) pentru operațiuni reutilizabile cu date în PySpark.

Format al cursului

• Lectură interactivă și discuție.
• Multe exerciții și practică.
• Implementare directă într-un mediu de laborator live.

Opțiuni de personalizare a cursului

• Pentru a solicita o formare personalizată pentru acest curs, vă rugăm să ne contactați pentru a organiza.