Cursuri de pregatire Hadoop Avansat pentru Dezvoltatori

Publică:

Cursul este destinat specialistilor IT care caută o soluție pentru stocarea și procesarea seturilor mari de date într-un mediu de sistem distribuit.

Goal:

Cunoștințe profunde despre administrarea clusterului Hadoop.

Analiza big data implică procesul de examinare a unor cantități mari și variate de seturi de date pentru a descoperi corelații, modele ascunse și alte informații utile.

Industria sănătății are o cantitate masivă de date medicale și clinice complexe și heterogene. Aplicarea analizei big data asupra datelor din domeniul sănătății prezintă un potențial enorm în derivarea de informații pentru îmbunătățirea prestarării serviciilor medicale. Totuși, dimensiunea acestor seturi de date reprezintă mari provocări în analiză și aplicări practice într-un mediu clinic.

În această instruire condusă de un profesor (la distanță), participanții vor învăța cum să efectueze analiza big data în sănătate, trecând prin o serie de exerciții practice live.

La finalul acestei instruirilor, participanții vor putea:

• Instala și configura unelte de analiză big data precum Hadoop MapReduce și Spark
• Înțelege caracteristicile datelor medicale
• Aplica tehnici big data pentru a trata datele medicale
• Studia sistemele și algoritmii de big data în contextul aplicațiilor din domeniul sănătății

Auтор

• Dezvoltatori
• Cercetători de date (Data Scientists)

Formatul Cursului

• Parțial lecție, parțial discuție, exerciții și multă practică live.

Note

• Pentru a solicita un curs personalizat pentru această instruire, vă rugăm să ne contactați pentru a programa un curs.

Apache Hadoop este cadrul de lucru cel mai popular pentru procesarea Big Data pe clustere de servere. În acest curs cu o durată de trei zile (opțional, patru), participanții vor învăța despre beneficiile comerciale și cazurile de utilizare ale Hadoop și al ecoului său, cum să planteze și crească clusterele, cum să instaleze, mențină, monitoreze, rezolve probleme și optimiză Hadoop. De asemenea, vor practica încarcarea de date în bulk pe cluster, se vor familiariza cu diverse distribuții ale lui Hadoop, și vor practica instalarea și gestionarea unor instrumente din ecoulul său. Cursul se termină cu o discuție despre siguranța clusterei prin utilizarea Kerberos.

“...Materialele au fost foarte bine pregătite și amintire greită. Laboratorul a fost foarte util și bine organizat”— Andrew Nguyen, Inginer de Integrare DW Principal, Microsoft Online Advertising

Publicul țintă

Administrаторii Hadoop

Format

Predarea teoretică și laborator, echilibru aproximativ 60% predare, 40% practic.

Apache Hadoop este cel mai popular cadru pentru procesarea Big Data pe clustere de servere. Acest curs va introduce un dezvoltator la diferite componente ale ecosistemului Hadoop (HDFS, MapReduce, Pig, Hive și HBase).

Publică:

Această cursă este concepută să demistifice tehnologia Big Data/Hadoop și să arate că nu este greu de înțeles.

Această instruire live, condusă de instructor în Moldova (online sau la fața locului) este destinată administratorilor de sisteme care doresc să învețe cum să configureze, să implementeze și să gestioneze clustere Hadoop în cadrul organizației lor.

La finalul acestei instruirii, participanții vor putea:

• Instalați și configurați Apache Hadoop.
• Înțelegeți cele patru componente majore din ecosistemul Hadoop: HDFS, MapReduce, YARN și Hadoop Common.
• Folosiți Sistemul de Fișiere Distribuit Hadoop (HDFS) pentru a scala un cluster la sute sau mii de noduri.  
• Setați HDFS ca motor de stocare pentru implementări Spark locale.
• Setați Spark pentru a accesa soluții alternative de stocare, cum ar fi Amazon S3 și sisteme de baze de date NoSQL, precum Redis, Elasticsearch, Couchbase, Aerospike, etc.
• Efectuați sarcini administrative, cum ar fi provizionarea, gestionarea, monitorizarea și securizarea unui cluster Apache Hadoop.

Acest curs introduce HBase – o bază de date NoSQL construită pe baza Hadoop. Cursul este destinat dezvoltatorilor care vor folosi HBase în dezvoltarea aplicațiilor și administratorilor care vor gestiona clusterele HBase.

Vom ghida un dezvoltator prin arhitectura HBase, modelarea datelor și dezvoltarea aplicațiilor pe HBase. De asemenea, vom discuta despre utilizarea MapReduce cu HBase și unele subiecte de administrare legate de optimizarea performanței. Cursul este foarte practic, cu multe exerciții de laborator.

Durata : 3 zile

Audiență : Dezvoltatori și Administratori

Apache NiFi este o platformă open-source, bazată pe flux de date pentru integrarea și procesarea evenimentelor. Permite rutarea, transformarea și medierea automatizate a datelor în timp real între sisteme diferite, cu un UI web și control precis.

Acest antrenament live, condus de instrucțiune (în locație sau la distanță) este adresat administratorilor și inginerilor intermediari care doresc să implementeze, să administreze, să securizeze și să optimizze fluxurile de date NiFi în medii de producție.

La finalul acestui antrenament, participanții vor putea:

• Să instaleze, să configureze și să mențină clusteruri Apache NiFi.
• Să proiecteze și să administreze fluxuri de date din surse și destinatii variate.
• Să implementeze automatizarea fluxului, rutarea și logica de transformare.
• Să optimizze performanța, să monitorizeze operațiunile și să rezolve problemele.

Formatul Cursului

• Prezentare interactivă cu discuții despre arhitectură din lumea reală.
• Laboratoare practice: construire, implementare și administrarea fluxurilor.
• Esercitațiile bazate pe scenarii într-un mediu live-lab.

Opțiuni de Personalizare a Cursului

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.

În cadrul acestei formări live, condusă de un instructor în Moldova, participanții vor învăța elementele de bază ale programării bazate pe flux pe măsură ce vor dezvolta o serie de extensii, componente și procesoare demonstrative utilizând Apache NiFi.

Până la sfârșitul acestei instruiri, participanții vor fi capabili să:

• Să înțeleagă arhitectura NiFi și conceptele de flux de date.
• Să dezvolte extensii utilizând NiFi și API-uri terțe.
• Să își dezvolte propriul procesor Apache Nifi personalizat.
• Să primească și să proceseze date în timp real din formate de fișiere și surse de date disparate și neobișnuite.

Această instruire live, cu instructor, în Moldova (online sau la fața locului) se adresează dezvoltatorilor care doresc să utilizeze și să integreze Spark, Hadoop și Python pentru a procesa, analiza și transforma seturi de date mari și complexe.

La sfârșitul acestui training, participanții vor fi capabili să:

• Să configureze mediul necesar pentru a începe procesarea datelor mari cu Spark, Hadoop și Python.
• Să înțeleagă caracteristicile, componentele de bază și arhitectura Spark și Hadoop.
• Să învețe cum să integreze Spark, Hadoop și Python pentru prelucrarea datelor mari.
• Explorați instrumentele din ecosistemul Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka și Flume).
• Construiți sisteme de recomandare prin filtrare colaborativă similare cu Netflix, YouTube, Amazon, Spotify și Google.
• Utilizați Apache Mahout pentru a scala algoritmi de învățare automată.