Cursuri de pregatire Avansat Hadoop pentru dezvoltatori

Publică:

Cursul este destinat specialistilor IT care caută o soluție pentru stocarea și procesarea seturilor mari de date într-un mediu de sistem distribuit.

Goal:

Cunoștințe profunde despre administrarea clusterului Hadoop.

Analiza datelor mari implică procesul de examinare a unor cantități mari de seturi de date variate pentru a descoperi corelații, tipare ascunse și alte informații utile.

Industria sănătății are cantități masive de date medicale și clinice eterogene complexe. Aplicarea analizelor de date mari asupra datelor de sănătate prezintă un potențial imens în obținerea unor perspective pentru îmbunătățirea furnizării asistenței medicale. Cu toate acestea, enormitatea acestor seturi de date prezintă provocări mari în analize și aplicații practice într-un mediu clinic.

În cadrul acestui instruire, instruit în direct (de la distanță), participanții vor învăța cum să efectueze analize de date mari în sănătate, în timp ce parcurg o serie de exerciții practice în laborator live.

Până la sfârșitul acestui antrenament, participanții vor putea:

• Instalați și configurați instrumente de analiză a datelor mari precum Hadoop MapReduce și Spark
• Înțelegeți caracteristicile datelor medicale
• Aplicați tehnici de date mari pentru a trata datele medicale
• Studiați sisteme de date mari și algoritmi în contextul aplicațiilor pentru sănătate

Public

• Dezvoltatori
• Oamenii de știință de date

Formatul cursului

• Partea de prelegere, o discuție parțială, exerciții și practici practice.

Notă

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a vă organiza.

Cursul este destinat specialiștilor IT care caută o soluție pentru a stoca și procesa seturi mari de date în mediu de sistem distribuit

Obiectivul cursului:

Obținerea cunoștințelor despre administrarea clusterului Hadoop

Apache Hadoop este cadrul de lucru cel mai popular pentru procesarea Big Data pe clustere de servere. În acest curs cu o durată de trei zile (opțional, patru), participanții vor învăța despre beneficiile comerciale și cazurile de utilizare ale Hadoop și al ecoului său, cum să planteze și crească clusterele, cum să instaleze, mențină, monitoreze, rezolve probleme și optimiză Hadoop. De asemenea, vor practica încarcarea de date în bulk pe cluster, se vor familiariza cu diverse distribuții ale lui Hadoop, și vor practica instalarea și gestionarea unor instrumente din ecoulul său. Cursul se termină cu o discuție despre siguranța clusterei prin utilizarea Kerberos.

“...Materialele au fost foarte bine pregătite și amintire greită. Laboratorul a fost foarte util și bine organizat” — Andrew Nguyen, Inginer de Integrare DW Principal, Microsoft Online Advertising

Publicul țintă

Administrаторii Hadoop

Format

Predarea teoretică și laborator, echilibru aproximativ 60% predare, 40% practic.

Apache Hadoop este cel mai popular cadru pentru procesarea Big Data pe clusteruri de servere. Acest curs va introduce dezvoltatorul în diverse componente (HDFS, MapReduce, Pig, Hive și HBase) din ecosistemul Hadoop.

Publică:

Această cursă este concepută să demistifice tehnologia Big Data/Hadoop și să arate că nu este greu de înțeles.

Acest curs de instruire live, condus de un instructor în Moldova (online sau la fața locului) se adresează administratorilor de sistem care doresc să învețe cum să configureze, să implementeze și să gestioneze Hadoop clustere în cadrul organizației lor.

La sfârșitul acestui curs de formare, participanții vor fi capabili să:

• Instalați și configurați Apache Hadoop.
• Înțelegeți cele patru componente majore din ecosistemul Hadoop: HDFS, MapReduce, YARN și Hadoop Common.
.
• Utilizați Hadoop Distributed File System (HDFS) pentru a scala un cluster la sute sau mii de noduri.  
.
• Configurați HDFS pentru a funcționa ca motor de stocare pentru implementări Spark pe loc.
.
• Configurați Spark pentru a accesa soluții de stocare alternative, cum ar fi Amazon S3 și sisteme de baze de date NoSQL, cum ar fi Redis, Elasticsearch, Couchbase, Aerospike etc.
.
• Executați sarcini administrative, cum ar fi provizionarea, gestionarea, monitorizarea și securizarea unui cluster Apache Hadoop.
.

Acest curs introduce HBase - un magazin No SQL pe partea de sus a Hadoop . Cursul este destinat dezvoltatorilor care vor folosi HBase pentru a dezvolta aplicații și administratorii care vor gestiona clusterele HBase.

Vom merge un dezvoltator prin arhitectura HBase și modelarea datelor și dezvoltarea aplicațiilor pe HBase. Acesta va discuta, de asemenea, folosind MapReduce cu HBase și câteva subiecte de administrare legate de optimizarea performanței. Cursul este foarte practic, cu multe exerciții de laborator.

Durata : 3 zile

Audiență : dezvoltatori și administratori

Această instruire live, condusă de un instructor în Moldova (online sau la fața locului) prezintă Hortonworks Data Platform (HDP) și conduce participanții prin implementarea soluției Spark + Hadoop.

Până la sfârșitul acestui training, participanții vor fi capabili să:

• Să utilizeze Hortonworks pentru a rula fiabil Hadoop la scară largă.
• Unifice capacitățile de securitate, guvernanță și operațiuni ale Hadoop cu fluxurile de lucru analitice agile ale Spark.
• Utilizați Hortonworks pentru a investiga, valida, certifica și sprijini fiecare dintre componentele unui proiect Spark.
• Procesați diferite tipuri de date, inclusiv structurate, nestructurate, în mișcare și în repaus.

Acest curs acoperă modul de utilizare a limbajului SQL Hive (AKA: Hive HQL, SQL on Hive , Hive QL) pentru persoanele care extrag date din Hive

Cloudera Impala este un motor de interogare SQL de procesare masiv paralelă (MPP) cu sursă deschisă pentru clustere Apache Hadoop.

Impala permite utilizatorilor să emită interogări SQL cu latență redusă pentru datele stocate în Hadoop Distributed File System și Apache Hbase fără a necesita deplasarea sau transformarea datelor.

Audiență

Acest curs se adresează analiștilor și cercetătorilor de date care efectuează analize asupra datelor stocate în Hadoop prin intermediul instrumentelor Business Intelligence sau SQL.

După acest curs, delegații vor fi capabili să

• Să extragă informații semnificative din clusterele Hadoop cu Impala.
• Scrie programe specifice pentru a facilita Business Intelligence în Impala SQL dialect.
• Să rezolve problemele Impala.

În cadrul acestei formări live cu instructor în Moldova (la fața locului sau la distanță), participanții vor învăța cum să implementeze și să gestioneze Apache NiFi într-un mediu de laborator live.

Până la sfârșitul acestui training, participanții vor fi capabili să:

• Să instaleze și să configureze Apachi NiFi.
• Să genereze, să transforme și să gestioneze date din surse de date disparate și distribuite, inclusiv baze de date și lacuri de date mari.
• Să automatizeze fluxurile de date.
• Să permită analizele de flux.
• Aplicați diverse abordări pentru ingestia datelor.
• Transformarea Big Data și în perspective de afaceri.

În cadrul acestei formări live, condusă de un instructor în Moldova, participanții vor învăța elementele de bază ale programării bazate pe flux pe măsură ce vor dezvolta o serie de extensii, componente și procesoare demonstrative utilizând Apache NiFi.

Până la sfârșitul acestei instruiri, participanții vor fi capabili să:

• Să înțeleagă arhitectura NiFi și conceptele de flux de date.
• Să dezvolte extensii utilizând NiFi și API-uri terțe.
• Să își dezvolte propriul procesor Apache Nifi personalizat.
• Să primească și să proceseze date în timp real din formate de fișiere și surse de date disparate și neobișnuite.

Această instruire live, cu instructor, în Moldova (online sau la fața locului) se adresează dezvoltatorilor care doresc să utilizeze și să integreze Spark, Hadoop și Python pentru a procesa, analiza și transforma seturi de date mari și complexe.

La sfârșitul acestui training, participanții vor fi capabili să:

• Să configureze mediul necesar pentru a începe procesarea datelor mari cu Spark, Hadoop și Python.
• Să înțeleagă caracteristicile, componentele de bază și arhitectura Spark și Hadoop.
• Să învețe cum să integreze Spark, Hadoop și Python pentru prelucrarea datelor mari.
• Explorați instrumentele din ecosistemul Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka și Flume).
• Construiți sisteme de recomandare prin filtrare colaborativă similare cu Netflix, YouTube, Amazon, Spotify și Google.
• Utilizați Apache Mahout pentru a scala algoritmi de învățare automată.