Big Data Training in Moldova

Acest training în direcția instrucțuratorului (în timp real, online sau presencial) este destinat specialistelor intermedii în domeniul științei datelor și inginerilor care doresc să folosească Google Colab și Apache Spark pentru procesarea și analiza datelor mari.

La sfârșitul acestui training, participanții vor putea:

• Configura un mediu de date mari folosind Google Colab și Spark.
• Procesa și analiza eficient seturi mari de date cu ajutorul Apache Spark.
• Visualiza datele mari într-un mediu colaborativ.
• Integra Apache Spark cu instrumente bazate pe cloud.

Stratio este o platformă centrată pe date care integrează big data, inteligența artificială și guvernanța într-o singură soluție. Modulele Rocket și Intelligence permit explorarea rapidă a datelor, transformarea și analize avansate în mediul enterprise.

Această formare condușă de instrucțoare (online sau pe locație) este destinată profesionalilor intermediari care doresc să utilizeze eficient modulele Rocket și Intelligence din Stratio cu PySpark, concentrându-se pe structuri de buclă, funcții definite de utilizator și logică de date avansată.

La finalul acestei forme de instruire, participanții vor putea:

• Navigați și lucrați în platforma Stratio folosind modulele Rocket și Intelligence.
• Aplicați PySpark în contextul ingestionării, transformării și analizei datelor.
• Utilizați bucle și logica condițională pentru a controla fluxurile de date și sarcinile de inginerie a caracteristicilor.
• Creați și gestionați funcții definite de utilizator (UDFs) pentru operațiuni reutilizabile cu date în PySpark.

Format al cursului

• Lectură interactivă și discuție.
• Multe exerciții și practică.
• Implementare directă într-un mediu de laborator live.

Opțiuni de personalizare a cursului

• Pentru a solicita o formare personalizată pentru acest curs, vă rugăm să ne contactați pentru a organiza.

Data Warehousing este practica de a proiecta, construi și opera repozitorii centralizați de date care susțin analitica, raportarea și luarea deciziilor.

Această instruire condusă de instructor (online sau pe loc) este adresată profesionistilor intermediari în domeniul datelor care doresc să modeleze date dimensionale, să construiască pipereline ETL robuste și să optimizeze sarcinile analitice.

La finalul acestei instruirii, participanții vor putea:

• Explica conceptele și arhitecturile de bază ale data warehousing.
• Proiecta modele dimensionale și alege între schemele star și snowflake.
• Construi și orchestra pipereline ETL și ELT în mod fiabil.
• Distinge sarcinile OLTP versus OLAP și optimizeze pentru analiză.

Formatul Cursului

• Prezentare interactivă și discuție.
• Multe exerciții și practică.
• Implementare practică într-un mediu live-lab.

Opțiuni de Personalizare a Cursului

• Pentru a solicita o instruire personalizată pentru acest curs, vă rugăm să ne contactați pentru a organiza.

Participanții care finalizează acest curs de formare live, condus de un instructor în Moldova vor dobândi o înțelegere practică și reală a Big Data și a tehnologiilor, metodologiilor și instrumentelor aferente.

Participanții vor avea ocazia să pună în practică aceste cunoștințe prin exerciții practice. Interacțiunea în grup și feedback-ul instructorului constituie o componentă importantă a cursului.

Cursul începe cu o introducere a conceptelor elementare ale Big Data, apoi progresează în limbajele de programare și metodologiile utilizate pentru a efectua Data Analysis. În cele din urmă, discutăm instrumentele și infrastructura care permit stocarea Big Data, procesarea distribuită și Scalabilitatea.

Greenplum este o platformă de date open-source cu procesare paralelă masivă (MPP) concepută pentru analitică și mediul de date la scară largă.

Această instruire condusă de instructor (online sau în locație) este destinate utilizatorilor tehnici de nivel intermediar până la avansat care doresc să înțeleagă arhitectura internă a Greenplum, să construiască modele de date optimizate și să aplice SQL cu performanță ridicată în mediile distribuite.

La sfârșitul acestei instrueri, participanții vor putea:

• Să înțeleagă arhitectura Greenplum de tip „fără compartimentare” și modelul său de paralelism.
• Să proiecteze structuri de tabele distribuite și partiții optimizate pentru performanța interogărilor.
• Să folosească strategii de indexare, formate de stocare și tehnici de design fizic.
• Să interpreteze planurile EXPLAIN și să optimizze interogările folosind cele mai bune practici.

Formatul Cursului

• Prezentare interactivă și discuție.
• Multe exerciții și practică.
• Implementare practică într-un mediu de laborator live.

Opțiuni de Personalizare a Cursului

• Pentru a solicita un curs personalizat, vă rugăm să ne contactați pentru a organiza.

Greenplum este o platformă open-source de date paralelă pe scară largă bazată pe PostgreSQL, concepută pentru analitica avansată și depozitele de date la scară largă.

Această instruire condusă de instructor (online sau prezentă) este destinată administratorilor intermediari care doresc să instaleze, să configureze și să gestioneze eficient mediile Greenplum, inclusiv gestionarea actualizărilor sistemului și a bibliotecilor.

La finalul acestei instruirii, participanții vor fi capabili să:

• Instaleze și configureze un cluster Greenplum de producție.
• Gestioneze actualizările sistemului și aplice parchete în siguranță.
• Gereze gestionarea bibliotecilor Greenplum pentru analitică și extensii.
• Depanseze și monitorizeze sistemele Greenplum.

Formatul Cursului

• Prezentare interactivă și discuție.
• Utilizarea practică a Greenplum într-un mediu de laborator controlat.
• Exerciții ghidate concentrate pe configurarea clusterului, fluxurile de actualizare și extensiile sistemului.

Opoțiuni de Personalizare a Cursului

• Pentru a solicita o instruire personalizată pentru acest curs bazat pe mediul sau platforma de date dumneavoastră, vă rugăm să ne contactați pentru a organiza.

Această instruire condusă de instructor, live, în Moldova (online sau on-site), este destinată profesionistilor avansați în domeniul datelor care doresc să optimizeze fluxurile de lucru de procesare a datelor, să asigure integritatea datelor și să implementeze soluții robuste pentru data lakehouse care pot gestiona complexitățile aplicațiilor moderne cu date mari.

La finalul acestei instruirile, participanții vor putea:

• Obține o înțelegere adâncă a arhitecturii Iceberg, inclusiv gestionarea metadatelor și structura fișierelor.
• Configurează Iceberg pentru performanță optimizată în diverse medii și integrează-l cu multiple motoare de procesare a datelor.
• Gestionează tabelele Iceberg la scară largă, efectuează schimbări complexe ale schemei și gestionează evoluția partițiilor.
• Învăță tehniciile pentru optimizarea performanței interogărilor și eficienței scanării datelor pentru seturi de date la scară largă.
• Implementează mecanisme pentru asigurarea consecvenței datelor, gestionarea garanțiilor tranzacționale și gestionarea eșecurilor în medii distribuite.

Această instruire guvernată de instructor, live, în Moldova (online sau prezentă la fața locului) este destinată profesionalilor de date la nivel începător care doresc să dobândească cunoștințele și abilitățile necesare pentru a utiliza cu eficiență Apache Iceberg în gestionarea seturilor de date de mari dimensiuni, asigurarea integrității datelor și optimizarea fluxurilor de lucru de procesare a datelor.

La finalul acestei instruirile, participanții vor putea:

• A înțelege pe deplin arhitectura, caracteristicile și beneficiile Apache Iceberg.
• Aflați despre formatele de tabel, partiționarea, evoluția schemelor și capacitatea de călătorie în timp.
• Instalarea și configurarea Apache Iceberg în diferite medii.
• Crearea, gestionarea și manipularea tabelelor Iceberg.
• Înțelegerea procesului de migrare a datelor din alte formate de tabel în Iceberg.

Această instruire condusă de instructor în Moldova (online sau la fața locului) este destinată profesioniștilor IT intermediari care doresc să-și îmbunătățească abilitățile în arhitectura datelor, guvernanța datelor, cloud computing și tehnologiile de big data pentru a gestiona și analiza eficient seturi de date mari în cadrul organizațiilor lor.

La finalizarea acestei instrueri, participanții vor fi capabili să:

• Înțeleagă conceptele fundamentale și componentele diferitelor arhitecturi de date.
• Obțină o înțelegere cuprinzătoare a principiilor guvernanței datelor și importanța lor în mediile reglementate.
• Implementeze și gestioneze cadre de guvernanță a datelor precum Dama și Togaf.
• Evalueze platformele cloud pentru o stocare, procesare și gestionare eficiente a datelor.

Această instruire condusă de instructor (online sau pe loc) este destinată inginerilor de date la nivel intermediu care doresc să învețe cum să folosească Azure Data Lake Storage Gen2 pentru soluții eficiente de analiză a datelor.

La finalul acestei instruirile, participanții vor putea:

• Să înțeleagă arhitectura și caracteristicile principale ale Azure Data Lake Storage Gen2.
• Să optimizeze stocarea și accesul datelor pentru costuri și performanță.
• Să integreze Azure Data Lake Storage Gen2 cu alte servicii Azure pentru analiză și procesare a datelor.
• Să dezvolte soluții folosind API-ul Azure Data Lake Storage Gen2.
• Să rezolve problemele comune și să optimizeze strategiile de stocare.

Această instruire live, cu instructor, în Moldova (online sau la fața locului) se adresează dezvoltatorilor care doresc să utilizeze și să integreze Spark, Hadoop și Python pentru a procesa, analiza și transforma seturi de date mari și complexe.

La sfârșitul acestui training, participanții vor fi capabili să:

• Să configureze mediul necesar pentru a începe procesarea datelor mari cu Spark, Hadoop și Python.
• Să înțeleagă caracteristicile, componentele de bază și arhitectura Spark și Hadoop.
• Să învețe cum să integreze Spark, Hadoop și Python pentru prelucrarea datelor mari.
• Explorați instrumentele din ecosistemul Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka și Flume).
• Construiți sisteme de recomandare prin filtrare colaborativă similare cu Netflix, YouTube, Amazon, Spotify și Google.
• Utilizați Apache Mahout pentru a scala algoritmi de învățare automată.

Big Data și Advanced Analytics este aplicarea tehnicii sofisticate și a unor instrumente pentru analiza unor seturi de date complexe și mari, obținându-se astfel informații acțiabile și decizii strategice.

Acest training dirijat de un instruire (online sau la locație) este destinat profesionistilor avansați în domeniul datelor care doresc să folosească metode analitice la vârf și tehnologii big data pentru analitică previziune, prescripțională și timp real.

La sfârșitul acestui training, participanții vor putea:

• Să proiecteze și implementeze pacheturi de procesare a datelor la scară largă pentru date structurate și nestructurate.
• Să aplique tehnici avansate de învățare automată și învățare profundă la seturi de date masive.
• Să folosească cadre de calcul distribuit pentru analitică timp real și transmiterea datelor.
• Să integreze analiza big data în sistemele de inteligență afacerilor și luarea deciziilor.

Formatul Cursului

• Cerțiune interactivă și discuție.
• Multe exerciții și practică.
• Implementare manuală într-un mediu de laborator live.

Opcional, opțiuni personalizate ale cursului

• Pentru a solicita un training personalizat pentru acest curs, vă rugăm să vă adresați la noi pentru a organiza aceasta.

Acest curs de instruire, condus de un instructor și desfășurat live în Moldova (online sau pe loc) este destinat profesionistilor IT la nivel intermediar care doresc să aibă o înțelegere cuprinzătoare a IBM DataStage atât din perspectivă administrativă, cât și de dezvoltare, permițându-le să gestioneze și să folosească acest instrument eficient în locurile lor de muncă respective.

La finalul acestui curs de instruire, participanții vor putea:

• Înțelege conceptele de bază ale DataStage.
• Aflați cum să instalați, configurați și gestionați eficient mediile DataStage.
• Conectați-vă la diverse surse de date și extrageți datele cu eficiență din baze de date, fișiere plăcute și surse externe.
• Implementați tehnicii eficiente de încărcare a datelor.

Acest curs de instruire live, condus de un instructor în Moldova (online sau la fața locului) se adresează administratorilor de sistem de nivel începător sau intermediar care doresc să implementeze, să mențină și să optimizeze clusterele Spark.

La finalul acestui curs de formare, participanții vor fi capabili să:

• Să instaleze și să configureze Apache Spark în diverse medii.
• Să gestioneze resursele clusterului și să monitorizeze aplicațiile Spark.
• Să optimizeze performanța clusterelor Spark.
• Să implementeze măsuri de securitate și să asigure o disponibilitate ridicată.
• Depanarea și rezolvarea problemelor comune ale Spark.

Participanții care finalizează acest curs de instruire live, condus de un instructor, în Moldova vor dobândi o înțelegere practică, din lumea reală a Big Data și a tehnologiilor, metodologiilor și instrumentelor aferente.

Participanții vor avea ocazia de a pune în practică aceste cunoștințe prin exerciții practice. Interacțiunea în grup și feedback-ul instructorului constituie o componentă importantă a cursului.

Cursul începe cu o introducere în conceptele elementare ale Big Data, apoi trece la limbajele de programare și la metodologiile utilizate pentru a efectua analiza datelor. În cele din urmă, se discută despre instrumentele și infrastructura care permit stocarea Big Data, procesarea distribuită și Scalabilitatea.

În cadrul acestui curs de formare live, condus de un instructor în Moldova, participanții vor învăța cum să utilizeze Python și Spark împreună pentru a analiza date mari, pe măsură ce lucrează la exerciții practice.

Până la sfârșitul acestui training, participanții vor fi capabili să:

• Să învețe cum să utilizeze Spark cu Python pentru a analiza Big Data.
• Să lucreze la exerciții care imită cazuri din lumea reală.
• Să utilizeze diferite instrumente și tehnici pentru analiza datelor mari utilizând PySpark.

Acest curs de formare live (online sau la fața locului), condus de un instructor, se adresează dezvoltatorilor de software, managerilor și analiștilor de afaceri care doresc să utilizeze sisteme de date mari pentru a stoca și a prelua cantități mari de date.

La finalul acestui curs de formare, participanții vor fi capabili să:

• Interogați eficient cantități mari de date.
• Să înțeleagă modul în care sistemul Big Data stochează și recuperează datele.
• Să utilizeze cele mai recente sisteme de big data disponibile
• Să introducă datele din sistemele de date în sistemele de raportare
• Învățați să scrie SQL interogări în:
  • MySQL
  • Postgres
  • Hive Limbajul de interogare (HiveQL/HQL)
  • Redshift

Formatul cursului

• Prelegere interactivă și discuții.
• O mulțime de exerciții și practică.
• Implementare practică într-un mediu live-lab.

Opțiuni de personalizare a cursului

• Pentru a solicita o instruire personalizată pentru acest curs, vă rugăm să ne contactați pentru a aranja.

Publică:

Cursul este destinat specialistilor IT care caută o soluție pentru stocarea și procesarea seturilor mari de date într-un mediu de sistem distribuit.

Goal:

Cunoștințe profunde despre administrarea clusterului Hadoop.

Progresul tehnologic și cantitatea tot mai mare de informații transformă modul în care se desfășoară activitatea în multe sectoare, inclusiv în cel guvernamental. Goratele de generare a datelor guvernamentale și de arhivare digitală sunt în creștere datorită creșterii rapide a dispozitivelor și aplicațiilor mobile, a senzorilor și dispozitivelor inteligente, a soluțiilor de cloud computing și a portalurilor orientate către cetățeni. Pe măsură ce informațiile digitale se extind și devin mai complexe, gestionarea, prelucrarea, stocarea, securitatea și eliminarea informațiilor devin și ele mai complexe. Noile instrumente de captare, căutare, descoperire și analiză ajută organizațiile să obțină informații din datele lor nestructurate. Piața guvernamentală se află la un punct de cotitură, realizând că informația este un activ strategic, iar guvernul trebuie să protejeze, să valorifice și să analizeze atât informațiile structurate, cât și cele nestructurate pentru a servi mai bine și a îndeplini cerințele misiunii. Pe măsură ce liderii guvernamentali se străduiesc să dezvolte organizații bazate pe date pentru a-și îndeplini cu succes misiunea, aceștia pun bazele pentru a corela dependențele dintre evenimente, oameni, procese și informații.

Soluțiile guvernamentale de mare valoare vor fi create dintr-o îmbinare a celor mai disruptive tehnologii:

• dispozitive și aplicații mobile
• Servicii în cloud
• Tehnologii și rețele de afaceri sociale
• Big Data și analiză

IDC preconizează că, până în 2020, industria IT va ajunge la 5 trilioane de dolari, cu aproximativ 1,7 trilioane de dolari mai mult decât în prezent, și că 80% din creșterea industriei va fi determinată de aceste tehnologii de platformă 3. Pe termen lung, aceste tehnologii vor fi instrumente esențiale pentru a face față complexității sporite a informațiilor digitale. Big Data este una dintre soluțiile inteligente ale industriei și permite administrației publice să ia decizii mai bune, acționând pe baza modelelor dezvăluite prin analiza unor volume mari de date - conexe și nelegate, structurate și nestructurate.

Dar pentru a realiza aceste performanțe este nevoie de mult mai mult decât simpla acumulare a unor cantități masive de date. "Pentru a da sens acestorvolumele de Big Dataeste nevoie de instrumente și tehnologii de ultimă generație care pot analiza și extrage cunoștințe utile din fluxuri vaste și diverse de informații", au scris Tom Kalil și Fen Zhao de la Biroul de politică științifică și tehnologică al Casei Albe într-o postare pe blogul OSTP.

Casa Albă a făcut un pas pentru a ajuta agențiile să găsească aceste tehnologii atunci când a înființat Inițiativa națională de cercetare și dezvoltare Big Data în 2012. Inițiativa a inclus mai mult de 200 de milioane de dolari pentru a profita la maximum de explozia de Big Data și de instrumentele necesare pentru a o analiza.

Provocările pe care le ridică Big Data sunt aproape la fel de înspăimântătoare pe cât de încurajatoare este promisiunea sa. Stocarea eficientă a datelor este una dintre aceste provocări. Ca întotdeauna, bugetele sunt limitate, așa că agențiile trebuie să reducă la minimum prețul pe megabyte al stocării și să păstreze datele la un acces ușor, astfel încât utilizatorii să le poată obține atunci când doresc și în modul în care au nevoie de ele. Copiile de rezervă pentru cantități masive de date sporesc provocarea.

Analiza eficientă a datelor reprezintă o altă provocare majoră. Multe agenții folosesc instrumente comerciale care le permit să treacă prin munții de date, identificând tendințele care le pot ajuta să opereze mai eficient. (Un studiu recent realizat de MeriTalk a constatat că directorii IT federali consideră că Big Data ar putea ajuta agențiile să economisească peste 500 de miliarde de dolari, îndeplinind în același timp obiectivele misiunii).

Instrumentele Big Data dezvoltate la comandă permit, de asemenea, agențiilor să răspundă nevoii de a-și analiza datele. De exemplu, Grupul de analiză computațională a datelor din cadrul Laboratorului Național Oak Ridge a pus la dispoziția altor agenții sistemul său de analiză a datelor Piranha. Sistemul i-a ajutat pe cercetătorii din domeniul medical să găsească o legătură care îi poate alerta pe medici cu privire la anevrismele aortice înainte ca acestea să se producă. De asemenea, sistemul este folosit și pentru sarcini mai banale, cum ar fi examinarea CV-urilor pentru a pune în legătură candidații la un loc de muncă cu managerii de angajare.

Ziua 1 - oferă o prezentare la nivel înalt a principalelor domenii de interes ale Datelor Mari. Modulul este împărțit într-o serie de secțiuni, fiecare din care este accomodată de un exercițiu practic.

Ziua 2 - explorează o gamă de subiecte care se referă la practici și instrumente de analiză pentru mediile cu Date Mari. Nu abordează detaliile de implementare sau programare, ci menține acoperirea la un nivel conceptual, concentrându-se pe subiectele care permit participanților să dezvolte o înțelegere cuprinzătoare a funcțiilor și caracteristicilor comune oferite de soluțiile pentru Date Mari.

Ziua 3 - oferă o prezentare a principalelor și esențiale domenii de interes legate de arhitectura platformei de soluție cu Date Mari. Include mecanismele necesare pentru dezvoltarea unei platforme de soluție cu Date Mari și opțiunile arhitecturale pentru montajul unei platforme de procesare a datelor. Sunt prezentate, de asemenea, scenarii comune pentru a oferi o înțelegere de bază asupra modului în care este folosită în general o platformă de soluție cu Date Mari.

Ziua 4 - continuă pe baza Ziuei 3 prin explorarea subiectelor avansate legate de arhitectura platformei de soluție cu Date Mari. În special, sunt introduse și discutate diferite straturi arhitecturale care compun platforma de soluție cu Date Mari, inclusiv sursele de date, ingressul datelor, stocarea datelor, procesarea datelor și securitatea.

Ziua 5 - acoperă o serie de exerciții și probleme concepute pentru a testa capacitatea delegaților de a aplica cunoștințele obținute în Ziua 3 și 4.

Analiza datelor mari implică procesul de examinare a unor cantități mari de seturi de date variate pentru a descoperi corelații, tipare ascunse și alte informații utile.

Industria sănătății are cantități masive de date medicale și clinice eterogene complexe. Aplicarea analizelor de date mari asupra datelor de sănătate prezintă un potențial imens în obținerea unor perspective pentru îmbunătățirea furnizării asistenței medicale. Cu toate acestea, enormitatea acestor seturi de date prezintă provocări mari în analize și aplicații practice într-un mediu clinic.

În cadrul acestui instruire, instruit în direct (de la distanță), participanții vor învăța cum să efectueze analize de date mari în sănătate, în timp ce parcurg o serie de exerciții practice în laborator live.

Până la sfârșitul acestui antrenament, participanții vor putea:

• Instalați și configurați instrumente de analiză a datelor mari precum Hadoop MapReduce și Spark
• Înțelegeți caracteristicile datelor medicale
• Aplicați tehnici de date mari pentru a trata datele medicale
• Studiați sisteme de date mari și algoritmi în contextul aplicațiilor pentru sănătate

Public

• Dezvoltatori
• Oamenii de știință de date

Formatul cursului

• Partea de prelegere, o discuție parțială, exerciții și practici practice.

Notă

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a vă organiza.

În cadrul acestui curs de formare live susținut de un instructor în Moldova, participanții vor învăța mentalitatea cu care să abordeze tehnologiile Big Data, să evalueze impactul acestora asupra proceselor și politicilor existente și să implementeze aceste tehnologii în scopul identificării activității infracționale și al prevenirii infracțiunilor. Studiile de caz ale organizațiilor de aplicare a legii din întreaga lume vor fi examinate pentru a obține informații privind abordările, provocările și rezultatele adoptării acestora.

La finalul acestei formări, participanții vor fi capabili să:

• Să combine tehnologia Big Data cu procesele tradiționale de colectare a datelor pentru a pune cap la cap o poveste în timpul unei investigații.
• Să implementeze soluții industriale de stocare și procesare big data pentru analiza datelor.
• Să pregătească o propunere pentru adoptarea celor mai adecvate instrumente și procese pentru a permite o abordare bazată pe date a investigațiilor penale.

Big Data este un termen care se referă la soluții destinate stocării și procesării seturilor de date mari. Inițial dezvoltate de Google, aceste soluții Big Data s-au evoluat și au inspirat alte proiecte similare, multe dintre care sunt disponibile ca open-source. R este un limbaj de programare popular în industria financiară.

Atunci când tehnologiile tradiționale de stocare nu fac față cantității de date pe care trebuie să o stocați, există sute de alternative. Acest curs încearcă să ghideze participanții în ceea ce privește alternativele de stocare și analiză Big Data și care sunt avantajele și dezavantajele acestora.

Acest curs este axat în principal pe discuții și prezentarea de soluții, deși exercițiile practice sunt disponibile la cerere.

Cursul face parte din setul de cunoștințe Data Scientist (Domeniu: date și tehnologie).

Această sesiune de instruire bazată pe clasă va explora Big Data. Delegații vor avea exemple bazate pe computer și exerciții de studiu de caz pentru a le întreprinde cu instrumente relevante de date mari

Public

Dacă încercați să înțelegeți din datele pe care aveți acces la sau doriți să analizați datele nestructurate disponibile pe net (cum ar fi Twitter, Linked in, etc ...), acest curs este pentru dvs.

Se adresează în special factorilor de decizie și persoanelor care au nevoie să aleagă ce date merită să fie colectate și ce merită analizat.

Nu este destinat persoanelor care configurează soluția, dar acești oameni vor beneficia de imaginea de ansamblu.

Modul de livrare

În timpul cursului, delegații vor fi prezentați cu exemple de lucru ale tehnologiilor cu sursă în mare parte.

Prelegerile scurte vor fi urmate de prezentări și de exerciții simple de către participanți

Conținutul și software-ul folosit

Tot software-ul folosit este actualizat de fiecare dată când cursul este rulat, așa că verificăm cele mai noi versiuni posibile.

Acesta acoperă procesul de obținere, formatare, prelucrare și analiză a datelor, pentru a explica modul de automatizare a procesului de luare a deciziilor cu învățarea în mașină.

Datele mari sunt seturi de date atât de voluminoase și complexe încât softurile tradiționale de aplicații de prelucrare a datelor nu sunt adecvate pentru a le trata. Provocările de date mari includ captarea datelor, stocarea datelor, analiza datelor, căutarea, partajarea, transferul, vizualizarea, interogarea, actualizarea și confidențialitatea informațiilor.

Cursul este destinat specialiștilor IT care caută o soluție pentru a stoca și procesa seturi mari de date în mediu de sistem distribuit

Obiectivul cursului:

Obținerea cunoștințelor despre administrarea clusterului Hadoop

Apache Hadoop este cadrul de lucru cel mai popular pentru procesarea Big Data pe clustere de servere. În acest curs cu o durată de trei zile (opțional, patru), participanții vor învăța despre beneficiile comerciale și cazurile de utilizare ale Hadoop și al ecoului său, cum să planteze și crească clusterele, cum să instaleze, mențină, monitoreze, rezolve probleme și optimiză Hadoop. De asemenea, vor practica încarcarea de date în bulk pe cluster, se vor familiariza cu diverse distribuții ale lui Hadoop, și vor practica instalarea și gestionarea unor instrumente din ecoulul său. Cursul se termină cu o discuție despre siguranța clusterei prin utilizarea Kerberos.

“...Materialele au fost foarte bine pregătite și amintire greită. Laboratorul a fost foarte util și bine organizat”— Andrew Nguyen, Inginer de Integrare DW Principal, Microsoft Online Advertising

Publicul țintă

Administrаторii Hadoop

Format

Predarea teoretică și laborator, echilibru aproximativ 60% predare, 40% practic.

Apache Hadoop este cel mai popular cadru pentru procesarea Big Data pe clusteruri de servere. Acest curs va introduce dezvoltatorul în diverse componente (HDFS, MapReduce, Pig, Hive și HBase) din ecosistemul Hadoop.

Apache Hadoop este unul dintre cele mai populare cadre pentru procesarea Big Data pe clusteruri de servere. Acest curs se concentrează pe gestionarea datelor în HDFS, Pig avansat, Hive, și HBase.  Aceste tehnici de programare avansate vor fi utile dezvoltatorilor experții în Hadoop.

Publicul țintă: dezvoltatori

Durată: trei zile

Format: lecții (50%) și laboratoare practice (50%).

Publică:

Această cursă este concepută să demistifice tehnologia Big Data/Hadoop și să arate că nu este greu de înțeles.

Acest curs de instruire live, condus de un instructor în Moldova (online sau la fața locului) se adresează administratorilor de sistem care doresc să învețe cum să configureze, să implementeze și să gestioneze Hadoop clustere în cadrul organizației lor.

La sfârșitul acestui curs de formare, participanții vor fi capabili să:

• Instalați și configurați Apache Hadoop.
• Înțelegeți cele patru componente majore din ecosistemul Hadoop: HDFS, MapReduce, YARN și Hadoop Common.
.
• Utilizați Hadoop Distributed File System (HDFS) pentru a scala un cluster la sute sau mii de noduri.  
.
• Configurați HDFS pentru a funcționa ca motor de stocare pentru implementări Spark pe loc.
.
• Configurați Spark pentru a accesa soluții de stocare alternative, cum ar fi Amazon S3 și sisteme de baze de date NoSQL, cum ar fi Redis, Elasticsearch, Couchbase, Aerospike etc.
.
• Executați sarcini administrative, cum ar fi provizionarea, gestionarea, monitorizarea și securizarea unui cluster Apache Hadoop.
.

Acest curs introduce HBase - un magazin No SQL pe partea de sus a Hadoop . Cursul este destinat dezvoltatorilor care vor folosi HBase pentru a dezvolta aplicații și administratorii care vor gestiona clusterele HBase.

Vom merge un dezvoltator prin arhitectura HBase și modelarea datelor și dezvoltarea aplicațiilor pe HBase. Acesta va discuta, de asemenea, folosind MapReduce cu HBase și câteva subiecte de administrare legate de optimizarea performanței. Cursul este foarte practic, cu multe exerciții de laborator.

Durata : 3 zile

Audiență : dezvoltatori și administratori

În acest antrenament condus de instrucțor, live, în Moldova (pe loc sau la distanță), participanții vor afla cum să configureze și să integreze diferite cadre de procesare a fluxurilor cu sistemele existente de stocare a datelor mari și cu aplicațiile și microserviciile asociate.

La finalul acestui antrenament, participanții vor putea:

• Să instaleze și să configureze diferite cadre de procesare a fluxurilor, cum ar fi Spark Streaming și Kafka Streaming.
• Să înțeleagă și să aleagă cea mai potrivită cadru pentru sarcină.
• Să proceseze datele continuu, simultan și pe baza fiecărui înregistrare.
• Să integreze soluțiile de procesare a fluxurilor cu bazele de date existente, depozitele de date, lacurile de date, etc.
• Să integreze biblioteca de procesare a fluxurilor cea mai potrivită cu aplicațiile și microserviciile enterprise.

Acest curs de instruire live, condus de un instructor în Moldova (online sau la fața locului) se adresează persoanelor tehnice care doresc să învețe cum să implementeze o strategie de învățare automată, maximizând în același timp utilizarea big data.

Până la sfârșitul acestui curs de formare, participanții vor:

• Înțelegeți evoluția și tendințele pentru învățarea mașinilor.
• Cunoașteți modul în care învățarea automată este utilizată în diferite industrii.
• Familiarizați-vă cu instrumentele, competențele și serviciile disponibile pentru a implementa învățarea automată în cadrul unei organizații.
.
• Înțelegeți cum poate fi utilizată învățarea automată pentru a îmbunătăți extragerea și analiza datelor.
• Învățați ce este un backend de mijloc de date și cum este utilizat de întreprinderi.
.
• Înțelegeți rolul pe care big data și aplicațiile inteligente îl joacă în toate industriile.
.

Apache NiFi este o platformă open-source, bazată pe flux de date pentru integrarea și procesarea evenimentelor. Permite rutarea, transformarea și medierea automatizate a datelor în timp real între sisteme diferite, cu un UI web și control precis.

Acest antrenament live, condus de instrucțiune (în locație sau la distanță) este adresat administratorilor și inginerilor intermediari care doresc să implementeze, să administreze, să securizeze și să optimizze fluxurile de date NiFi în medii de producție.

La finalul acestui antrenament, participanții vor putea:

• Să instaleze, să configureze și să mențină clusteruri Apache NiFi.
• Să proiecteze și să administreze fluxuri de date din surse și destinatii variate.
• Să implementeze automatizarea fluxului, rutarea și logica de transformare.
• Să optimizze performanța, să monitorizeze operațiunile și să rezolve problemele.

Formatul Cursului

• Prezentare interactivă cu discuții despre arhitectură din lumea reală.
• Laboratoare practice: construire, implementare și administrarea fluxurilor.
• Esercitațiile bazate pe scenarii într-un mediu live-lab.

Opțiuni de Personalizare a Cursului

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.

În cadrul acestei formări live, condusă de un instructor în Moldova, participanții vor învăța elementele de bază ale programării bazate pe flux pe măsură ce vor dezvolta o serie de extensii, componente și procesoare demonstrative utilizând Apache NiFi.

Până la sfârșitul acestei instruiri, participanții vor fi capabili să:

• Să înțeleagă arhitectura NiFi și conceptele de flux de date.
• Să dezvolte extensii utilizând NiFi și API-uri terțe.
• Să își dezvolte propriul procesor Apache Nifi personalizat.
• Să primească și să proceseze date în timp real din formate de fișiere și surse de date disparate și neobișnuite.

Această instruire condusă de un instructor, în direct (online sau prezent) se adresează științistilor de date care doresc să folosească stiva SMACK pentru a construi platforme de procesare a datelor pentru soluții cu date la scară largă.

La finalul acestei instruirile, participanții vor putea:

• Implementa o arhitectură de pipeline de date pentru procesarea datelor la scară largă.
• Dezvolta infrastructura unui cluster cu Apache Mesos și Docker.
• Analiza datele cu Spark și Scala.
• Gestioneaza datele nestructurate cu Apache Cassandra.

Acest curs de instruire live, condus de un instructor în Moldova (online sau la fața locului) se adresează inginerilor care doresc să configureze și să implementeze un sistem Apache Spark pentru procesarea unor cantități foarte mari de date.

La sfârșitul acestui curs de formare, participanții vor fi capabili să:

• Instalați și configurați Apache Spark.
• Procesați și analizați rapid seturi de date foarte mari.
.
• Înțelegeți diferența dintre Apache Spark și Hadoop MapReduce și când să folosiți fiecare.
.
• Integrați Apache Spark cu alte instrumente de învățare automată.
.

Curbarea de învățare a Apache Spark crește lent la început, necesitând multă energie pentru a obține primul rezultat. Acest curs are ca scop trecerea peste prima parte dificilă. După finalizarea acestui curs, participanții vor înțelege noțiunile de bază ale Apache Spark, vor distinge clar RDD de DataFrame, vor învăța API-urile Python și Scala, vor înțelege executorii și sarcinile, etc. De asemenea, urmărind cele mai bune practici, acest curs se concentrează puternic pe implementarea în cloud, Databricks și AWS. Studenții vor înțelege, de asemenea, diferențele dintre AWS EMR și AWS Glue, unul dintre serviciile Spark cele mai recente ale AWS.

AUDIENȚĂ:

Data Engineer, DevOps, Data Scientist

OBIECTIV:

Acest curs va prezenta Apache Spark . Studenții vor afla cum Spark se încadrează în ecosistemul Big Data și cum să folosească Spark pentru analiza datelor. Cursul acoperă shell-ul Spark pentru analiza interactivă a datelor, Spark intern, API-uri Spark, Spark SQL , Spark streaming, și învățare automată și graficX.

AUDIENCE:

Dezvoltatori / analisti de date

Acest curs de formare live, condus de un instructor în Moldova (online sau la fața locului) se adresează cercetătorilor și dezvoltatorilor de date care doresc să utilizeze Spark NLP, construit pe baza Apache Spark, pentru a dezvolta, implementa și extinde modele și conducte de procesare a textului în limbaj natural.

Până la sfârșitul acestei formări, participanții vor fi capabili să:

• Să configureze mediul de dezvoltare necesar pentru a începe construirea de conducte NLP cu Spark NLP.
• Să înțeleagă caracteristicile, arhitectura și beneficiile utilizării Spark NLP.
• Să utilizeze modelele pre-antrenate disponibile în Spark NLP pentru a implementa prelucrarea textului.
• Învățați cum să construiți, să antrenați și să scalați modelele Spark NLP pentru proiecte de nivel de producție.
• Aplicați clasificarea, inferența și analiza sentimentelor pe cazuri reale de utilizare (date clinice, informații privind comportamentul clienților etc.).

Spark SQL este modulul Apache Spark pentru lucrul cu date structurate și nestructurate. Spark SQL oferă informații despre structura datelor, precum și despre calculul efectuat. Aceste informații pot fi utilizate pentru a realiza optimizări. Două utilizări comune pentru Spark SQL sunt:
- pentru a executa interogări SQL .
- pentru a citi datele dintr-o instalație Hive existentă.

În cadrul acestui training, instruit în direct (la fața locului sau la distanță), participanții vor învăța cum să analizeze diverse tipuri de seturi de date folosind Spark SQL .

Până la sfârșitul acestui antrenament, participanții vor putea:

• Instalați și configurați Spark SQL .
• Efectuați analiza datelor utilizând Spark SQL .
• Seturi de date de interogare în diferite formate.
• Vizualizați datele și rezultatele interogării.

Formatul cursului

• Prelegeri și discuții interactive.
• O mulțime de exerciții și practică.
• Implementarea practică într-un mediu de laborator live.

Opțiuni de personalizare a cursului

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a vă organiza.

Acest curs de instruire live, condus de un instructor, în Moldova (online sau la fața locului) se adresează persoanelor tehnice care doresc să implementeze Talend Open Studio for Big Data pentru a simplifica procesul de citire și prelucrare a datelor Big Data.

La sfârșitul acestui curs de formare, participanții vor fi capabili să:

• Instalați și configurați Talend Open Studio for Big Data.
• Conectați-vă cu sisteme Big Data, cum ar fi Cloudera, HortonWorks, MapR, Amazon EMR și Apache.
.
• Înțelegeți și configurați componentele și conectorii pentru date mari ai Open Studio's big data.
.
• Configurați parametrii pentru a genera automat codul MapReduce.
.
• Utilizați interfața drag-and-drop a Open Studio's pentru a rula lucrări Hadoop.
• Prototipați conducte de date mari.
.
• Automatizați proiectele de integrare a datelor mari.
.