Big Data Formare în Chisinau

Acest training în direcția instrucțuratorului (în timp real, online sau presencial) este destinat specialistelor intermedii în domeniul științei datelor și inginerilor care doresc să folosească Google Colab și Apache Spark pentru procesarea și analiza datelor mari.

La sfârșitul acestui training, participanții vor putea:

• Configura un mediu de date mari folosind Google Colab și Spark.
• Procesa și analiza eficient seturi mari de date cu ajutorul Apache Spark.
• Visualiza datele mari într-un mediu colaborativ.
• Integra Apache Spark cu instrumente bazate pe cloud.

Stratio este o platformă centrată pe date care integrează big data, AI și guvernanța într-o singură soluție. Modulele Rocket și Intelligence permit explorarea rapidă a datelor, transformarea acestora și analiza avansată în mediile de companii.

Această instruire condusă de instructor (online sau pe fața locului) este destinate profesionistilor cu date de nivel intermediar care doresc să folosească modulele Rocket și Intelligence din Stratio eficient cu PySpark, concentrându-se pe structurile de buclă, funcțiile definite de utilizator și logică avansată a datelor.

La finalul acestei instruirii, participanții vor putea:

• Naviga și lucra în cadrul platformei Stratio folosind modulele Rocket și Intelligence.
• Aplica PySpark în contextul inghirii, transformării și analizei datelor.
• Utiliza buclele și logica condițională pentru a controla fluxurile de date și sarcinile de inginerie a caracteristicilor.
• Creați și gestionați funcțiile definite de utilizator (UDFs) pentru operațiuni cu date reutilizabile în PySpark.

Formatul cursului

• Prezentare interactivă și discuție.
• Multe exerciții și practică.
• Implementare practică într-un mediu de laborator live.

Opțiuni de personalizare a cursului

• Pentru a solicita o instruire personalizată pentru acest curs, vă rugăm să ne contactați pentru a aranja.

Depozitarea de date este practica de a proiecta, construi și opera depozite centrale de date care susțin analiza, raportarea și luarea deciziilor.

Această instruire condusă de un profesor (online sau în locațiune) este destulată pentru specialiștii intermediari în domeniul datelor care doresc să modeleze date dimensionale, să construiască și orchestreze pipeleline-uri ETL robuste și să optimizze sarcinile analitice.

La finalul acestei instruirii, participanții vor putea:

• Explica conceptele și arhitecturile de bază ale depozitării de date.
• Proiecta modele dimensionale și alege între schemele star și snowflake.
• Construi și orchestreze pipeleline-uri ETL și ELT în mod fiabil.
• Distinge sarcinile OLTP de cele OLAP și optimiza pentru analiză.

Formatul Cursului

• Prezentare interactivă și discuție.
• Mulți exerciții și practici.
• Implementare de către participanți într-un mediu live-lab.

Opțiuni de Personalizare a Cursului

• Pentru a solicita o instruire personalizată pentru acest curs, vă rugăm să ne contactați pentru aranjamente.

Participanții care finalizează acest curs de formare live, condus de un instructor în Chisinau vor dobândi o înțelegere practică și reală a Big Data și a tehnologiilor, metodologiilor și instrumentelor aferente.

Participanții vor avea ocazia să pună în practică aceste cunoștințe prin exerciții practice. Interacțiunea în grup și feedback-ul instructorului constituie o componentă importantă a cursului.

Cursul începe cu o introducere a conceptelor elementare ale Big Data, apoi progresează în limbajele de programare și metodologiile utilizate pentru a efectua Data Analysis. În cele din urmă, discutăm instrumentele și infrastructura care permit stocarea Big Data, procesarea distribuită și Scalabilitatea.

Greenplum este o platformă de date open-source cu procesare paralelă masivă (MPP) concepută pentru analitică și mediul de date la scară largă.

Această instruire condusă de instructor (online sau în locație) este destinate utilizatorilor tehnici de nivel intermediar până la avansat care doresc să înțeleagă arhitectura internă a Greenplum, să construiască modele de date optimizate și să aplice SQL cu performanță ridicată în mediile distribuite.

La sfârșitul acestei instrueri, participanții vor putea:

• Să înțeleagă arhitectura Greenplum de tip „fără compartimentare” și modelul său de paralelism.
• Să proiecteze structuri de tabele distribuite și partiții optimizate pentru performanța interogărilor.
• Să folosească strategii de indexare, formate de stocare și tehnici de design fizic.
• Să interpreteze planurile EXPLAIN și să optimizze interogările folosind cele mai bune practici.

Formatul Cursului

• Prezentare interactivă și discuție.
• Multe exerciții și practică.
• Implementare practică într-un mediu de laborator live.

Opțiuni de Personalizare a Cursului

• Pentru a solicita un curs personalizat, vă rugăm să ne contactați pentru a organiza.

Greenplum este o platformă open-source de date paralelă pe scară largă bazată pe PostgreSQL, concepută pentru analitica avansată și depozitele de date la scară largă.

Această instruire condusă de instructor (online sau prezentă) este destinată administratorilor intermediari care doresc să instaleze, să configureze și să gestioneze eficient mediile Greenplum, inclusiv gestionarea actualizărilor sistemului și a bibliotecilor.

La finalul acestei instruirii, participanții vor fi capabili să:

• Instaleze și configureze un cluster Greenplum de producție.
• Gestioneze actualizările sistemului și aplice parchete în siguranță.
• Gereze gestionarea bibliotecilor Greenplum pentru analitică și extensii.
• Depanseze și monitorizeze sistemele Greenplum.

Formatul Cursului

• Prezentare interactivă și discuție.
• Utilizarea practică a Greenplum într-un mediu de laborator controlat.
• Exerciții ghidate concentrate pe configurarea clusterului, fluxurile de actualizare și extensiile sistemului.

Opoțiuni de Personalizare a Cursului

• Pentru a solicita o instruire personalizată pentru acest curs bazat pe mediul sau platforma de date dumneavoastră, vă rugăm să ne contactați pentru a organiza.

Această instruire condusă de instructor, live, în Chisinau (online sau on-site), este destinată profesionistilor avansați în domeniul datelor care doresc să optimizeze fluxurile de lucru de procesare a datelor, să asigure integritatea datelor și să implementeze soluții robuste pentru data lakehouse care pot gestiona complexitățile aplicațiilor moderne cu date mari.

La finalul acestei instruirile, participanții vor putea:

• Obține o înțelegere adâncă a arhitecturii Iceberg, inclusiv gestionarea metadatelor și structura fișierelor.
• Configurează Iceberg pentru performanță optimizată în diverse medii și integrează-l cu multiple motoare de procesare a datelor.
• Gestionează tabelele Iceberg la scară largă, efectuează schimbări complexe ale schemei și gestionează evoluția partițiilor.
• Învăță tehniciile pentru optimizarea performanței interogărilor și eficienței scanării datelor pentru seturi de date la scară largă.
• Implementează mecanisme pentru asigurarea consecvenței datelor, gestionarea garanțiilor tranzacționale și gestionarea eșecurilor în medii distribuite.

Această instruire guvernată de instructor, live, în Chisinau (online sau prezentă la fața locului) este destinată profesionalilor de date la nivel începător care doresc să dobândească cunoștințele și abilitățile necesare pentru a utiliza cu eficiență Apache Iceberg în gestionarea seturilor de date de mari dimensiuni, asigurarea integrității datelor și optimizarea fluxurilor de lucru de procesare a datelor.

La finalul acestei instruirile, participanții vor putea:

• A înțelege pe deplin arhitectura, caracteristicile și beneficiile Apache Iceberg.
• Aflați despre formatele de tabel, partiționarea, evoluția schemelor și capacitatea de călătorie în timp.
• Instalarea și configurarea Apache Iceberg în diferite medii.
• Crearea, gestionarea și manipularea tabelelor Iceberg.
• Înțelegerea procesului de migrare a datelor din alte formate de tabel în Iceberg.

Această instruire condusă de instructor în Chisinau (online sau la fața locului) este destinată profesioniștilor IT intermediari care doresc să-și îmbunătățească abilitățile în arhitectura datelor, guvernanța datelor, cloud computing și tehnologiile de big data pentru a gestiona și analiza eficient seturi de date mari în cadrul organizațiilor lor.

La finalizarea acestei instrueri, participanții vor fi capabili să:

• Înțeleagă conceptele fundamentale și componentele diferitelor arhitecturi de date.
• Obțină o înțelegere cuprinzătoare a principiilor guvernanței datelor și importanța lor în mediile reglementate.
• Implementeze și gestioneze cadre de guvernanță a datelor precum Dama și Togaf.
• Evalueze platformele cloud pentru o stocare, procesare și gestionare eficiente a datelor.

Această instruire condusă de instructor (online sau pe loc) este destinată inginerilor de date la nivel intermediu care doresc să învețe cum să folosească Azure Data Lake Storage Gen2 pentru soluții eficiente de analiză a datelor.

La finalul acestei instruirile, participanții vor putea:

• Să înțeleagă arhitectura și caracteristicile principale ale Azure Data Lake Storage Gen2.
• Să optimizeze stocarea și accesul datelor pentru costuri și performanță.
• Să integreze Azure Data Lake Storage Gen2 cu alte servicii Azure pentru analiză și procesare a datelor.
• Să dezvolte soluții folosind API-ul Azure Data Lake Storage Gen2.
• Să rezolve problemele comune și să optimizeze strategiile de stocare.

Această instruire live, cu instructor, în Chisinau (online sau la fața locului) se adresează dezvoltatorilor care doresc să utilizeze și să integreze Spark, Hadoop și Python pentru a procesa, analiza și transforma seturi de date mari și complexe.

La sfârșitul acestui training, participanții vor fi capabili să:

• Să configureze mediul necesar pentru a începe procesarea datelor mari cu Spark, Hadoop și Python.
• Să înțeleagă caracteristicile, componentele de bază și arhitectura Spark și Hadoop.
• Să învețe cum să integreze Spark, Hadoop și Python pentru prelucrarea datelor mari.
• Explorați instrumentele din ecosistemul Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka și Flume).
• Construiți sisteme de recomandare prin filtrare colaborativă similare cu Netflix, YouTube, Amazon, Spotify și Google.
• Utilizați Apache Mahout pentru a scala algoritmi de învățare automată.

Big Data și Advanced Analytics este aplicarea tehnicii sofisticate și a unor instrumente pentru analiza unor seturi de date complexe și mari, obținându-se astfel informații acțiabile și decizii strategice.

Acest training dirijat de un instruire (online sau la locație) este destinat profesionistilor avansați în domeniul datelor care doresc să folosească metode analitice la vârf și tehnologii big data pentru analitică previziune, prescripțională și timp real.

La sfârșitul acestui training, participanții vor putea:

• Să proiecteze și implementeze pacheturi de procesare a datelor la scară largă pentru date structurate și nestructurate.
• Să aplique tehnici avansate de învățare automată și învățare profundă la seturi de date masive.
• Să folosească cadre de calcul distribuit pentru analitică timp real și transmiterea datelor.
• Să integreze analiza big data în sistemele de inteligență afacerilor și luarea deciziilor.

Formatul Cursului

• Cerțiune interactivă și discuție.
• Multe exerciții și practică.
• Implementare manuală într-un mediu de laborator live.

Opcional, opțiuni personalizate ale cursului

• Pentru a solicita un training personalizat pentru acest curs, vă rugăm să vă adresați la noi pentru a organiza aceasta.

Această instruire condusă de instructor (online sau pe loc) este destinată profesioniștilor IT la nivel intermediar care doresc să aibă o înțelegere completă a IBM DataStage din ambele perspective, administrativ și de dezvoltare, pentru a putea gestiona și utiliza acest instrument eficient în locurile lor de muncă.

La finalul acestei instruire, participanții vor fi capabili să:

• Înțeleagă conceptele de bază ale DataStage.
• Întalnească cum să instaleze, configureze și gestioneze eficient mediile DataStage.
• Se conecteze la diverse surse de date și extragă date eficient din baze de date, fișiere text și surse externe.
• Implementeze tehnicii eficiente de încărcare a datelor.

Acest curs de instruire live, condus de un instructor în Chisinau (online sau la fața locului) se adresează administratorilor de sistem de nivel începător sau intermediar care doresc să implementeze, să mențină și să optimizeze clusterele Spark.

La finalul acestui curs de formare, participanții vor fi capabili să:

• Să instaleze și să configureze Apache Spark în diverse medii.
• Să gestioneze resursele clusterului și să monitorizeze aplicațiile Spark.
• Să optimizeze performanța clusterelor Spark.
• Să implementeze măsuri de securitate și să asigure o disponibilitate ridicată.
• Depanarea și rezolvarea problemelor comune ale Spark.

Participanții care finalizează această instruire live, condusă de instructor, în Chisinau, vor obține o înțelegere practică și reală a Big Data și a tehnologiilor, metodologiilor și instrumentelor sale asociate.

Participantii vor avea ocazia să apliche această cunoștință prin exerciții practice. Interacțiunea în grup și feedback-ul instrucționar reprezintă un component important al clasei.

Cursul începe cu o introducere în conceptele elementare ale Big Data, apoi progresă în limbajele de programare și metodologiile folosite pentru Analiza Datelor. În final, discutăm despre instrumente și infrastructura care permite stocarea, procesarea distribuită și scalabilitatea Big Data.

În cadrul acestui curs de formare live, condus de un instructor în Chisinau, participanții vor învăța cum să utilizeze Python și Spark împreună pentru a analiza date mari, pe măsură ce lucrează la exerciții practice.

Până la sfârșitul acestui training, participanții vor fi capabili să:

• Să învețe cum să utilizeze Spark cu Python pentru a analiza Big Data.
• Să lucreze la exerciții care imită cazuri din lumea reală.
• Să utilizeze diferite instrumente și tehnici pentru analiza datelor mari utilizând PySpark.

Acest instruire condusă de instructor (online sau pe loc) este destinat dezvoltatorilor de software, managerilor și analiștii de afaceri care doresc să folosească sistemele de big data pentru a stoca și retrage cantități mari de date.

La finalul acestei instruire, participanții vor fi capabili să:

• Ceriere eficient cantități mari de date.
• Înțeleagă cum stoc și retrag date sistemul Big Data
• Folosească cele mai recente sisteme de big data disponibile
• Prepara date din sistemele de date în sisteme de raportare
• Află cum să scrie cereri SQL în:
• MySQL
• Postgres
• Limbajul de interogare Hive (HiveQL/HQL)
• Redshift 

Formatul cursului

• Lecție interactivă și discuții.
• Multe exerciții și practică.
• Implementare de hands-on într-un mediu live-lab.

Opțiuni de personalizare a cursului

• Pentru a solicita o instruire personalizată pentru acest curs, vă rugăm să ne contactați pentru a programa.

Publică:

Cursul este destinat specialistilor IT care caută o soluție pentru stocarea și procesarea seturilor mari de date într-un mediu de sistem distribuit.

Goal:

Cunoștințe profunde despre administrarea clusterului Hadoop.

Progresele tehnologice și creșterea constantă a informațiilor transformă modul în care se desfășoară activitatea în multe industrii, inclusiv în guvernare. Ratele de generare și arhivare digitală a datelor guvernamentale cresc din cauza dezvoltării rapide a dispozitivelor mobile și aplicațiilor, senzorilor și dispozitivelor inteligente, soluțiilor de cloud computing și portalurilor orientate către cetățeni. Pe măsură ce informațiile devin mai complexe, gestionarea, procesarea, stocarea, securizarea și eliminarea lor devin la rândul lor mai complexe. Noile instrumente de capturare, căutare, descoperire și analiză ajută organizațiile să extragă înțelepciune din datele lor nestructurate. Piața guvernamentală se află la un punct critic, realizând că informația este un bun strategic și că guvernul trebuie să protejeze, să folosească și să analizeze atât datele structurate, cât și cele nestructurate pentru a servi mai bine și a îndeplini cerințele misiunii. Întrucât liderii guvernamentali se străduiesc să dezvolte organizații bazate pe date pentru a-și îndeplini cu succes misiunea, ei stabilesc fundația pentru a identifica dependențele între evenimente, persoane, procese și informații.

Soluțiile valoroase ale guvernului vor fi create prin combinarea celor mai disruptive tehnologii:

• Dispozitive mobile și aplicații
• Servicii cloud
• Tehnologii și rețele de afaceri sociale
• Big Data și analiză

Big Data este una dintre soluțiile inteligente ale industriei și permite guvernului să ia decizii mai bune prin acțiuni bazate pe modele dezvăluite prin analiza volumelor mari de date — structurate și nestructurate, conectate și neconectate.

Dar realizarea acestor performanțe necesită mult mai mult decât doar acumularea unor cantități masive de date. „Sensibilizarea față de aceste volume de Big Data necesită instrumente și tehnologii de frontieră care să poată analiza și extrage cunoștințe utile din fluxuri vaste și diverse de informații,” au scris Tom Kalil și Fen Zhao, din Biroul Tehnologiei Științifice al Casa Albă, într-un articol pe blogul OSTP.

Casa Alba a făcut un pas spre ajutarea agențiilor guvernamentale să găsească aceste tehnologii prin stabilirea Inițiativei Naționale de Cercetare și Dezvoltare Big Data în 2012. Inițiativa a inclus peste 200 de milioane de dolari pentru a maximiza exploatarea expanzivă a Big Data și instrumentelor necesare analizei acestuia.

provocările pe care le arată Big Data sunt aproape la fel de intimidante ca și promisiunea sa încurajatoare. Stocarea datelor eficient este una dintre aceste provocări. Bugetele sunt întotdeauna restricte, deci agențiile trebuie să minimizeze prețul per megabyte al stocării și să păstreze datele într-o formă ușor accesibilă pentru ca utilizatorii să le poată accesa când vor și cum au nevoie. Backup-ul unor cantități masive de date crește dificultatea.

Analiza datelor eficient este o altă provocare majoră. Multe agenții folosesc instrumente comerciale care le permit să securiseze monele de date, identificând tendințe care le pot ajuta să opereze mai eficient. (O studiu recent realizat de MeriTalk a constatat că cadrele executiv guvernamentale consideră că Big Data ar putea ajuta agențiile să economisească peste 500 de miliarde de dolari, în timp ce îndeplinește obiectivele misiunii.).

Instrumente personalizate Big Data permit, de asemenea, agențiilor să abordeze nevoia de analizare a datelor. De exemplu, grupul Computational Data Analytics din Laboratorul Național Oak Ridge a pus la dispoziția altor agenții sistemul său de analiză a datelor Piranha. Sistemul a ajutat cercetătorii medicali să identifice un legământ care poate alerta medicii despre anevrismele aortice înainte ca acestea să apară. Este, de asemenea, folosit pentru sarcini mai obișnuite, cum ar fi trecerea prin curriculele vitae pentru a conecta candidații cu managerii de angajare.

Ziua 1 - oferă o prezentare la nivel înalt a principalelor domenii de interes ale Datelor Mari. Modulul este împărțit într-o serie de secțiuni, fiecare din care este accomodată de un exercițiu practic.

Ziua 2 - explorează o gamă de subiecte care se referă la practici și instrumente de analiză pentru mediile cu Date Mari. Nu abordează detaliile de implementare sau programare, ci menține acoperirea la un nivel conceptual, concentrându-se pe subiectele care permit participanților să dezvolte o înțelegere cuprinzătoare a funcțiilor și caracteristicilor comune oferite de soluțiile pentru Date Mari.

Ziua 3 - oferă o prezentare a principalelor și esențiale domenii de interes legate de arhitectura platformei de soluție cu Date Mari. Include mecanismele necesare pentru dezvoltarea unei platforme de soluție cu Date Mari și opțiunile arhitecturale pentru montajul unei platforme de procesare a datelor. Sunt prezentate, de asemenea, scenarii comune pentru a oferi o înțelegere de bază asupra modului în care este folosită în general o platformă de soluție cu Date Mari.

Ziua 4 - continuă pe baza Ziuei 3 prin explorarea subiectelor avansate legate de arhitectura platformei de soluție cu Date Mari. În special, sunt introduse și discutate diferite straturi arhitecturale care compun platforma de soluție cu Date Mari, inclusiv sursele de date, ingressul datelor, stocarea datelor, procesarea datelor și securitatea.

Ziua 5 - acoperă o serie de exerciții și probleme concepute pentru a testa capacitatea delegaților de a aplica cunoștințele obținute în Ziua 3 și 4.

Analiza big data implică procesul de examinare a unor cantități mari și variate de seturi de date pentru a descoperi corelații, modele ascunse și alte informații utile.

Industria sănătății are o cantitate masivă de date medicale și clinice complexe și heterogene. Aplicarea analizei big data asupra datelor din domeniul sănătății prezintă un potențial enorm în derivarea de informații pentru îmbunătățirea prestarării serviciilor medicale. Totuși, dimensiunea acestor seturi de date reprezintă mari provocări în analiză și aplicări practice într-un mediu clinic.

În această instruire condusă de un profesor (la distanță), participanții vor învăța cum să efectueze analiza big data în sănătate, trecând prin o serie de exerciții practice live.

La finalul acestei instruirilor, participanții vor putea:

• Instala și configura unelte de analiză big data precum Hadoop MapReduce și Spark
• Înțelege caracteristicile datelor medicale
• Aplica tehnici big data pentru a trata datele medicale
• Studia sistemele și algoritmii de big data în contextul aplicațiilor din domeniul sănătății

Auтор

• Dezvoltatori
• Cercetători de date (Data Scientists)

Formatul Cursului

• Parțial lecție, parțial discuție, exerciții și multă practică live.

Note

• Pentru a solicita un curs personalizat pentru această instruire, vă rugăm să ne contactați pentru a programa un curs.

În cadrul acestui curs de formare live susținut de un instructor în Chisinau, participanții vor învăța mentalitatea cu care să abordeze tehnologiile Big Data, să evalueze impactul acestora asupra proceselor și politicilor existente și să implementeze aceste tehnologii în scopul identificării activității infracționale și al prevenirii infracțiunilor. Studiile de caz ale organizațiilor de aplicare a legii din întreaga lume vor fi examinate pentru a obține informații privind abordările, provocările și rezultatele adoptării acestora.

La finalul acestei formări, participanții vor fi capabili să:

• Să combine tehnologia Big Data cu procesele tradiționale de colectare a datelor pentru a pune cap la cap o poveste în timpul unei investigații.
• Să implementeze soluții industriale de stocare și procesare big data pentru analiza datelor.
• Să pregătească o propunere pentru adoptarea celor mai adecvate instrumente și procese pentru a permite o abordare bazată pe date a investigațiilor penale.

Big Data este un termen care se referă la soluții destinate stocării și procesării seturilor de date mari. Inițial dezvoltate de Google, aceste soluții Big Data s-au evoluat și au inspirat alte proiecte similare, multe dintre care sunt disponibile ca open-source. R este un limbaj de programare popular în industria financiară.

Atunci când tehnologiile tradiționale de stocare nu fac față cantității de date pe care trebuie să o stocați, există sute de alternative. Acest curs încearcă să ghideze participanții în ceea ce privește alternativele de stocare și analiză Big Data și care sunt avantajele și dezavantajele acestora.

Acest curs este axat în principal pe discuții și prezentarea de soluții, deși exercițiile practice sunt disponibile la cerere.

Cursul face parte din setul de cunoștințe Data Scientist (Domeniu: date și tehnologie).

Această sesiune de instruire bazată pe clasă va explora Big Data. Delegații vor avea exemple bazate pe computer și exerciții de studiu de caz pentru a le întreprinde cu instrumente relevante de date mari

Public

Dacă încercați să înțelegeți din datele pe care aveți acces la sau doriți să analizați datele nestructurate disponibile pe net (cum ar fi Twitter, Linked in, etc ...), acest curs este pentru dvs.

Se adresează în special factorilor de decizie și persoanelor care au nevoie să aleagă ce date merită să fie colectate și ce merită analizat.

Nu este destinat persoanelor care configurează soluția, dar acești oameni vor beneficia de imaginea de ansamblu.

Modul de livrare

În timpul cursului, delegații vor fi prezentați cu exemple de lucru ale tehnologiilor cu sursă în mare parte.

Prelegerile scurte vor fi urmate de prezentări și de exerciții simple de către participanți

Conținutul și software-ul folosit

Tot software-ul folosit este actualizat de fiecare dată când cursul este rulat, așa că verificăm cele mai noi versiuni posibile.

Acesta acoperă procesul de obținere, formatare, prelucrare și analiză a datelor, pentru a explica modul de automatizare a procesului de luare a deciziilor cu învățarea în mașină.

Big data se referă la mulțimi de date care sunt atât de mari și complexe încât aplicațiile tradiționale de procesare a datelor nu sunt suficiente pentru a le gestiona. Provocările big data includ capturarea, stocarea, analiza, căutarea, împărtășirea, transferul, vizualizarea, interogarea, actualizarea și protejarea confidențialității datelor.

Apache Hadoop este cadrul de lucru cel mai popular pentru procesarea Big Data pe clustere de servere. În acest curs cu o durată de trei zile (opțional, patru), participanții vor învăța despre beneficiile comerciale și cazurile de utilizare ale Hadoop și al ecoului său, cum să planteze și crească clusterele, cum să instaleze, mențină, monitoreze, rezolve probleme și optimiză Hadoop. De asemenea, vor practica încarcarea de date în bulk pe cluster, se vor familiariza cu diverse distribuții ale lui Hadoop, și vor practica instalarea și gestionarea unor instrumente din ecoulul său. Cursul se termină cu o discuție despre siguranța clusterei prin utilizarea Kerberos.

“...Materialele au fost foarte bine pregătite și amintire greită. Laboratorul a fost foarte util și bine organizat”— Andrew Nguyen, Inginer de Integrare DW Principal, Microsoft Online Advertising

Publicul țintă

Administrаторii Hadoop

Format

Predarea teoretică și laborator, echilibru aproximativ 60% predare, 40% practic.

Apache Hadoop este cel mai popular cadru pentru procesarea Big Data pe clustere de servere. Acest curs va introduce un dezvoltator la diferite componente ale ecosistemului Hadoop (HDFS, MapReduce, Pig, Hive și HBase).

Apache Hadoop este una dintre cele mai populare cadre de lucru pentru procesarea Big Data pe clustere de servere. Acest curs se aprofundează în gestionarea datelor în HDFS, Pig avansat, Hive și HBase. Aceste tehnici de programare avansate vor fi benefice pentru dezvoltatorii experimentați cu Hadoop.

Audiență: dezvoltatori

Durată: trei zile

Format: prelegeri (50%) și laboratoare practice (50%).

Publică:

Această cursă este concepută să demistifice tehnologia Big Data/Hadoop și să arate că nu este greu de înțeles.

Această instruire live, condusă de instructor în Chisinau (online sau la fața locului) este destinată administratorilor de sisteme care doresc să învețe cum să configureze, să implementeze și să gestioneze clustere Hadoop în cadrul organizației lor.

La finalul acestei instruirii, participanții vor putea:

• Instalați și configurați Apache Hadoop.
• Înțelegeți cele patru componente majore din ecosistemul Hadoop: HDFS, MapReduce, YARN și Hadoop Common.
• Folosiți Sistemul de Fișiere Distribuit Hadoop (HDFS) pentru a scala un cluster la sute sau mii de noduri.  
• Setați HDFS ca motor de stocare pentru implementări Spark locale.
• Setați Spark pentru a accesa soluții alternative de stocare, cum ar fi Amazon S3 și sisteme de baze de date NoSQL, precum Redis, Elasticsearch, Couchbase, Aerospike, etc.
• Efectuați sarcini administrative, cum ar fi provizionarea, gestionarea, monitorizarea și securizarea unui cluster Apache Hadoop.

Acest curs introduce HBase – o bază de date NoSQL construită pe baza Hadoop. Cursul este destinat dezvoltatorilor care vor folosi HBase în dezvoltarea aplicațiilor și administratorilor care vor gestiona clusterele HBase.

Vom ghida un dezvoltator prin arhitectura HBase, modelarea datelor și dezvoltarea aplicațiilor pe HBase. De asemenea, vom discuta despre utilizarea MapReduce cu HBase și unele subiecte de administrare legate de optimizarea performanței. Cursul este foarte practic, cu multe exerciții de laborator.

Durata : 3 zile

Audiență : Dezvoltatori și Administratori

În această instruire condusă de instructor în Chisinau (onsite sau remote), participanții vor învăța cum să configureze și să integreze diferite framework-uri de Procesare a Fluxurilor cu sistemele existente de stocare a datelor big data și cu aplicațiile software și microserviciile asociate.

La finalul acestei instruiri, participanții vor fi capabili să:

• Instaleze și configureze diferite framework-uri de Procesare a Fluxurilor, cum ar fi Spark Streaming și Kafka Streaming.
• Înțeleagă și să selecteze cel mai potrivit framework pentru sarcină.
• Proceseze datele în continuu, simultan și pe baza fiecărui record.
• Integreze soluțiile de procesare a fluxurilor cu bazele de date existente, depozitele de date, lacurile de date etc.
• Integreze biblioteca de procesare a fluxurilor cea mai potrivită cu aplicațiile enterprise și microserviciile.

Acest training (online sau la fața locului) condus de instructor este destul pentru persoanele tehnice care doresc să învețe cum să implementeze o strategie de machine learning, maximizând utilizarea datelor mari.

La finalul acestei instruire, participanții vor:

• Înțelege evoluția și tendințele pentru machine learning.
• Cunoaște modul în care machine learning este utilizat în diferite industrii.
• Familiarizarea cu instrumentele, abilitățile și serviciile disponibile pentru implementarea machine learning în cadrul unei organizații.
• Înțelege modul în care machine learning poate fi utilizat pentru a îmbunătăți mining-ul datelor și analiza acestora.
• Învața ce este un backend de date intermediar, și cum este folosit de afaceri.
• Înțelege rolul pe care îl joacă datele mari și aplicațiile inteligente în diferite industrii.

Apache NiFi este o platformă open-source, bazată pe flux de date pentru integrarea și procesarea evenimentelor. Permite rutarea, transformarea și medierea automatizate a datelor în timp real între sisteme diferite, cu un UI web și control precis.

Acest antrenament live, condus de instrucțiune (în locație sau la distanță) este adresat administratorilor și inginerilor intermediari care doresc să implementeze, să administreze, să securizeze și să optimizze fluxurile de date NiFi în medii de producție.

La finalul acestui antrenament, participanții vor putea:

• Să instaleze, să configureze și să mențină clusteruri Apache NiFi.
• Să proiecteze și să administreze fluxuri de date din surse și destinatii variate.
• Să implementeze automatizarea fluxului, rutarea și logica de transformare.
• Să optimizze performanța, să monitorizeze operațiunile și să rezolve problemele.

Formatul Cursului

• Prezentare interactivă cu discuții despre arhitectură din lumea reală.
• Laboratoare practice: construire, implementare și administrarea fluxurilor.
• Esercitațiile bazate pe scenarii într-un mediu live-lab.

Opțiuni de Personalizare a Cursului

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.

În cadrul acestei formări live, condusă de un instructor în Chisinau, participanții vor învăța elementele de bază ale programării bazate pe flux pe măsură ce vor dezvolta o serie de extensii, componente și procesoare demonstrative utilizând Apache NiFi.

Până la sfârșitul acestei instruiri, participanții vor fi capabili să:

• Să înțeleagă arhitectura NiFi și conceptele de flux de date.
• Să dezvolte extensii utilizând NiFi și API-uri terțe.
• Să își dezvolte propriul procesor Apache Nifi personalizat.
• Să primească și să proceseze date în timp real din formate de fișiere și surse de date disparate și neobișnuite.

Această instruire condusă de un instructor, în direct (online sau prezent) se adresează științistilor de date care doresc să folosească stiva SMACK pentru a construi platforme de procesare a datelor pentru soluții cu date la scară largă.

La finalul acestei instruirile, participanții vor putea:

• Implementa o arhitectură de pipeline de date pentru procesarea datelor la scară largă.
• Dezvolta infrastructura unui cluster cu Apache Mesos și Docker.
• Analiza datele cu Spark și Scala.
• Gestioneaza datele nestructurate cu Apache Cassandra.

Această instruire condusă de instructor, live (online sau pe loc) este adresată inginerilor care doresc să configureze și să implementeze sistemul Apache Spark pentru a procesa cantități foarte mari de date.

La finalul acestei instruirile, participanții vor putea:

• Instala și configura Apache Spark.
• Să proceseze și să analizeze rapid cantități foarte mari de date.
• Înțelege diferența dintre Apache Spark și Hadoop MapReduce și când să folosească fiecare.
• Integra Apache Spark cu alte instrumente de machine learning.

Curbarea de învățare a Apache Spark crește lent la început, necesitând multă energie pentru a obține primul rezultat. Acest curs are ca scop trecerea peste prima parte dificilă. După finalizarea acestui curs, participanții vor înțelege noțiunile de bază ale Apache Spark, vor distinge clar RDD de DataFrame, vor învăța API-urile Python și Scala, vor înțelege executorii și sarcinile, etc. De asemenea, urmărind cele mai bune practici, acest curs se concentrează puternic pe implementarea în cloud, Databricks și AWS. Studenții vor înțelege, de asemenea, diferențele dintre AWS EMR și AWS Glue, unul dintre serviciile Spark cele mai recente ale AWS.

AUDIENȚĂ:

Data Engineer, DevOps, Data Scientist

OBIETIV:

Acest curs va introduce Apache Spark. Studenții vor învăța cum se integrează Spark în ecosistemul Big Data și cum să folosească Spark pentru analiza datelor. Cursul acoperă shell-ul Spark pentru analiza interactivă a datelor, componente interne ale Spark, API-uri Spark, Spark SQL, fluxare Spark și învățarea automată și GraphX.

PUBLICUL:

Dezvoltatori / Analiști de date

Acest curs de formare live, condus de un instructor în Chisinau (online sau la fața locului) se adresează cercetătorilor și dezvoltatorilor de date care doresc să utilizeze Spark NLP, construit pe baza Apache Spark, pentru a dezvolta, implementa și extinde modele și conducte de procesare a textului în limbaj natural.

Până la sfârșitul acestei formări, participanții vor fi capabili să:

• Să configureze mediul de dezvoltare necesar pentru a începe construirea de conducte NLP cu Spark NLP.
• Să înțeleagă caracteristicile, arhitectura și beneficiile utilizării Spark NLP.
• Să utilizeze modelele pre-antrenate disponibile în Spark NLP pentru a implementa prelucrarea textului.
• Învățați cum să construiți, să antrenați și să scalați modelele Spark NLP pentru proiecte de nivel de producție.
• Aplicați clasificarea, inferența și analiza sentimentelor pe cazuri reale de utilizare (date clinice, informații privind comportamentul clienților etc.).

Spark SQL este modulul Apache Spark pentru lucrul cu date structurate și nestructurate. Spark SQL oferă informații despre structura datelor precum și despre calculul efectuat. Aceste informații pot fi folosite pentru a realiza optimizări. Două utilizări comune ale Spark SQL sunt:
- pentru a executa interogări SQL.
- pentru a citi date dintr-o instalare Hive existentă.

În această instruire condusă de instructor (in locație sau la distanță), participanții vor învăța cum să analizeze diverse tipuri de seturi de date folosind Spark SQL.

Laur finalului acestei instruirii, participanții vor putea:

• Instala și configura Spark SQL.
• Efectua analiza datelor folosind Spark SQL.
• Citi date din diverse formate.
• Vizualiza date și rezultate ale interogărilor.

Formatul Cursului

• Predare interactivă și discuții.
• Multe exerciții și practici.
• Implementarea manevrerilor într-un mediu live-lab.

Opțiuni de Personalizare a Cursului

• Pentru a solicita o instruire personalizată pentru acest curs, vă rugăm să ne contactați pentru a aranja detalii.

Acest curs instruit de instructor (online sau în locație) este destinat persoanelor tehnice care doresc să implementeze Talend Open Studio for Big Data pentru a simplifica procesul de citire și procesare a datelor mari.

La finalul acestui antrenament, participanții vor putea:

• Să instaleze și configureze Talend Open Studio for Big Data.
• Să se conecteze cu sisteme de date mari precum Cloudera, HortonWorks, MapR, Amazon EMR și Apache.
• Să înțeleagă și să seteze componentele și conectorii de date mari din Open Studio.
• Să configureze parametrii pentru a genera automat cod MapReduce.
• Să folosească interfata drag-and-drop a Open Studio pentru a rula sarcini Hadoop.
• Să prototipeze canale de date mari.
• Să automateze proiecte de integrare a datelor mari.