Cursuri Apache Spark

Python este o limbă de programare scalabilă, flexibilă și utilizată pe scară largă pentru știința datelor și învățarea mașinilor. Spark este un motor de prelucrare a datelor utilizat în căutarea, analizarea și transformarea datelor mari, în timp ce Hadoop este un cadru de bibliotecă software pentru stocarea și prelucrarea datelor la scară largă. Această formare directă (online sau on-site) este destinată dezvoltatorilor care doresc să utilizeze și să integreze Spark, Hadoop, și Python pentru a procesa, analiza și transforma seturi de date mari și complexe. La sfârșitul cursului, participanții vor putea:

Configurați mediul necesar pentru a începe prelucrarea datelor mari cu Spark, Hadoop, și Python. Înțelegeți caracteristicile, componentele de bază și arhitectura Spark și Hadoop. Aflați cum să integrați Spark, Hadoop, și Python pentru prelucrarea datelor mari. Explorați instrumentele din ecosistemul Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka și Flume). Construiți sisteme de recomandare de filtrare colaborative similare cu Netflix, YouTube, Amazon, Spotify și Google. Utilizați Apache Mahout pentru a scala algoritmele de învățare cu mașină.

Formatul cursului

Lecții și discuții interactive. Multe exerciții și practici. Implementarea pe mâini într-un mediu live-lab.

Opțiuni de personalizare

Pentru a solicita o pregătire personalizată pentru acest curs, vă rugăm să ne contactați pentru a organiza.

In this instructor-led, live training in Moldova, participants will learn how to use Python and Spark together to analyze big data as they work on hands-on exercises. By the end of this training, participants will be able to:

• Learn how to use Spark with Python to analyze Big Data.
• Work on exercises that mimic real world cases.
• Use different tools and techniques for big data analysis using PySpark.

OBIECTIV: Acest curs va prezenta Apache Spark . Studenții vor afla cum Spark se încadrează în ecosistemul Big Data și cum să folosească Spark pentru analiza datelor. Cursul acoperă shell-ul Spark pentru analiza interactivă a datelor, Spark intern, API-uri Spark, Spark SQL , Spark streaming, și învățare automată și graficX. AUDIENCE: Dezvoltatori / analisti de date

Hortonworks Data Platform (HDP) este o platformă de suport open-source Apache Hadoop care oferă o bază stabilă pentru dezvoltarea de soluții de date mari pe ecosistemul Apache Hadoop . Acest instruire în direct (la fața locului sau la distanță), condus de instructor, introduce Hortonworks Data Platform (HDP) și parcurge participanții prin implementarea soluției Spark + Hadoop . Până la sfârșitul acestui antrenament, participanții vor putea:

• Folosiți Hortonworks pentru a rula în mod sigur Hadoop la scară largă.
• Unificați capacitățile de securitate, guvernare și operațiuni ale lui Hadoop cu fluxurile de lucru analitice agile Spark.
• Folosiți Hortonworks pentru a investiga, valida, certifica și susține fiecare componentă dintr-un proiect Spark.
• Procesați diferite tipuri de date, inclusiv structurate, nestructurate, în mișcare și în repaus.

Formatul cursului

• Prelegeri și discuții interactive.
• O mulțime de exerciții și practică.
• Implementarea practică într-un mediu de laborator live.

Opțiuni de personalizare a cursului

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a vă organiza.

Magellan este un motor de execuție distribuit cu sursă deschisă pentru analiza geospatială a datelor mari. Implementat deasupra Apache Spark, extinde Spark SQL și oferă o abstracție relativă pentru analiza geospatială. Această pregătire directă, condusă de instructori, introduce conceptele și abordările de implementare a analizei geospatiale și marchează participanții prin crearea unei aplicații de analiză predictivă folosind Magellan pe Spark. La sfârșitul cursului, participanții vor putea:

Întreabă eficient, parsează și aderează seturile de date geospatiale la scară Implementarea datelor geospatiale în inteligența de afaceri și aplicațiile de analiză predictivă Utilizați context spațial pentru a extinde capacitățile dispozitivelor mobile, a senzorilor, a logurilor și a dispozitivelor de purtare

Formatul cursului

Lecții și discuții interactive. Multe exerciții și practici. Implementarea pe mâini într-un mediu live-lab.

Opțiuni de personalizare

Pentru a solicita o pregătire personalizată pentru acest curs, vă rugăm să ne contactați pentru a organiza.

Alluxio este un sistem de stocare distribuit virtual cu sursă deschisă care unifică sisteme de stocare diferite și permite aplicațiilor să interacționeze cu datele la viteza de memorie. Acesta este utilizat de companii precum Intel, Baidu și Alibaba. În această instruire condusă de instructori, cursuri live, participanții vor învăța cum să utilizeze Alluxio pentru a purta diferite cadre de calcul cu sisteme de stocare și pentru a gestiona în mod eficient datele de scară multi-petabyte pe măsură ce trec prin crearea unei aplicații cu Alluxio. La sfârșitul cursului, participanții vor putea:

Dezvoltați o aplicație cu Alluxio Conectați sistemele de date mari și aplicațiile în timp ce păstrați un spațiu de nume Extrage eficient valoarea din datele mari în orice format de stocare Îmbunătățirea performanței sarcinii de lucru Dezvoltați și gestionați Alluxio independent sau clusterat

Audienţă

Știință de date Dezvoltatori Administratorul sistemului

Formatul cursului

Lecții parțiale, discuții parțiale, exerciții și practici grele

Spark SQL este modulul Apache Spark pentru lucrul cu date structurate și nestructurate. Spark SQL oferă informații despre structura datelor, precum și despre calculul efectuat. Aceste informații pot fi utilizate pentru a realiza optimizări. Două utilizări comune pentru Spark SQL sunt:
- pentru a executa interogări SQL .
- pentru a citi datele dintr-o instalație Hive existentă. În cadrul acestui training, instruit în direct (la fața locului sau la distanță), participanții vor învăța cum să analizeze diverse tipuri de seturi de date folosind Spark SQL . Până la sfârșitul acestui antrenament, participanții vor putea:

• Instalați și configurați Spark SQL .
• Efectuați analiza datelor utilizând Spark SQL .
• Seturi de date de interogare în diferite formate.
• Vizualizați datele și rezultatele interogării.

Formatul cursului

• Prelegeri și discuții interactive.
• O mulțime de exerciții și practică.
• Implementarea practică într-un mediu de laborator live.

Opțiuni de personalizare a cursului

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a vă organiza.

Stream Processing se referă la procesarea în timp real a „datelor în mișcare”, adică efectuarea de calcule pe date așa cum sunt primite. Aceste date sunt citite ca fluxuri continue din surse de date , cum ar fi evenimente de senzori, activitatea utilizatorilor site - ul, tranzacțiile financiare, glisări de card de credit, faceți clic pe fluxuri etc. Stream Processing cadre sunt capabile să citească volume mari de date de intrare și de a oferi perspective valoroase aproape instantaneu. În cadrul acestui training, instruit în direct (la fața locului sau la distanță), participanții vor învăța cum să configureze și să integreze diferite cadre de Stream Processing fluxurilor cu sistemele de stocare de date mari existente și aplicațiile software și microserviciile aferente. Până la sfârșitul acestui antrenament, participanții vor putea:

• Instalați și configurați diferite cadre de Stream Processing fluxurilor, cum ar fi Spark Streaming și Kafka Streaming.
• Înțelegeți și selectați cadrul cel mai potrivit pentru job.
• Procesarea datelor în mod continuu, concomitent și într-o manieră record-by-record.
• Integrați soluțiile de Stream Processing fluxurilor cu bazele de date existente, depozite de date, lacuri de date etc.
• Integrați cea mai potrivită bibliotecă de procesare a fluxurilor cu aplicații de întreprindere și microservicii.

Public

• Dezvoltatori
• Arhitecți software

Formatul cursului

• Partea de prelegere, o discuție parțială, exerciții și practici practice

notițe

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a vă organiza.

Analiza datelor mari implică procesul de examinare a unor cantități mari de seturi de date variate pentru a descoperi corelații, tipare ascunse și alte informații utile. Industria sănătății are cantități masive de date medicale și clinice eterogene complexe. Aplicarea analizelor de date mari asupra datelor de sănătate prezintă un potențial imens în obținerea unor perspective pentru îmbunătățirea furnizării asistenței medicale. Cu toate acestea, enormitatea acestor seturi de date prezintă provocări mari în analize și aplicații practice într-un mediu clinic. În cadrul acestui instruire, instruit în direct (de la distanță), participanții vor învăța cum să efectueze analize de date mari în sănătate, în timp ce parcurg o serie de exerciții practice în laborator live. Până la sfârșitul acestui antrenament, participanții vor putea:

• Instalați și configurați instrumente de analiză a datelor mari precum Hadoop MapReduce și Spark
• Înțelegeți caracteristicile datelor medicale
• Aplicați tehnici de date mari pentru a trata datele medicale
• Studiați sisteme de date mari și algoritmi în contextul aplicațiilor pentru sănătate

Public

• Dezvoltatori
• Oamenii de știință de date

Formatul cursului

• Partea de prelegere, o discuție parțială, exerciții și practici practice.

Notă

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a vă organiza.

Curba de învățare a lui Apache Spark crește încet la început, are nevoie de mult efort pentru a obține primul randament. Acest curs își propune să sară prin prima parte grea. După ce au luat acest curs, participanții vor înțelege elementele de bază ale lui Apache Spark , vor diferenția clar RDD de DataFrame, vor învăța API-ul Python și Scala , vor înțelege executorii și sarcinile etc. De asemenea, urmând cele mai bune practici, acest curs se concentrează puternic pe implementare cloud, baze de date și AWS. De asemenea, studenții vor înțelege diferențele dintre AWS EMR și AWS Glue, unul dintre ultimele servicii Spark ale AWS. PUBLIC: Inginer de date, DevOps , Data Scientist

Scala este o versiune condensată a Java pentru programări funcționale și orientate pe obiecte la scară largă. Streamingul de Apache Spark este o componentă extinsă a API-ului Spark pentru procesarea seturilor de date mari ca fluxuri în timp real. Împreună, Spark Streaming și Scala permit transmiterea de date mari. Acest training, instruit în direct (la fața locului sau la distanță), se adresează inginerilor de software care doresc să transmită date mari cu Spark Streaming și Scala . Până la sfârșitul acestui antrenament, participanții vor putea:

• Creați aplicații Spark cu limbajul de programare Scala .
• Utilizați Spark Streaming pentru a procesa fluxuri continue de date.
• Procesați fluxuri de date în timp real cu Spark Streaming.

Formatul cursului

• Prelegeri și discuții interactive.
• O mulțime de exerciții și practică.
• Implementarea practică într-un mediu de laborator live.

Opțiuni de personalizare a cursului

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a vă organiza.

SMACK este o colecție de software-uri de platformă de date, și anume Apache Spark, Apache Mesos, Apache Akka, Apache Cassandra, și Apache Kafka. Cu ajutorul stacului SMACK, utilizatorii pot crea și scala platforme de prelucrare a datelor. Această formare directă, condusă de instructori (online sau on-site) este destinată cercetătorilor de date care doresc să utilizeze stack-ul SMACK pentru a construi platforme de prelucrare a datelor pentru soluții de date mari. La sfârșitul cursului, participanții vor putea:

Implementarea unei arhitecturi de pipeline de date pentru prelucrarea datelor mari. Dezvoltarea unei infrastructuri cluster cu Apache Mesos și Docker. Analiza datelor cu Spark și Scala. Gestionarea datelor neconstrucționate cu Apache Cassandra.

Formatul cursului

Lecții și discuții interactive. Multe exerciții și practici. Implementarea pe mâini într-un mediu live-lab.

Opțiuni de personalizare

Pentru a solicita o pregătire personalizată pentru acest curs, vă rugăm să ne contactați pentru a organiza.

Apache Spark este un motor de analiză conceput pentru a distribui date printr-un cluster pentru a le procesa în paralel. Acesta conține module pentru streaming, SQL, machine learning și procesarea grafică. Această formare directă, condusă de instructori (online sau on-site) este destinată inginerilor care doresc să implementeze un sistem pentru prelucrarea unor cantități foarte mari de date. La sfârșitul cursului, participanții vor putea:

Instalare şi configurare Apache Spark. Înțelegeți diferența dintre Apache Spark și Hadoop MapReduce și când să utilizați care. Citiți rapid în  și analiza seturi de date foarte mari. Integrați Apache Spark cu alte instrumente de învățare automată.

Formatul cursului

Lecții și discuții interactive. Multe exerciții și practici. Implementarea pe mâini într-un mediu live-lab.

Opțiuni de personalizare

Pentru a solicita o pregătire personalizată pentru acest curs, vă rugăm să ne contactați pentru a organiza.

Apache Spark este un motor de prelucrare distribuit pentru analizarea seturilor de date foarte mari. Poate prelucra datele în batch-uri și în timp real, precum și să efectueze învățarea cu mașina, întrebări ad-hoc și procesarea grafică. .NET pentru Apache Spark este un cadru gratuit, open-source și cross-platform de analiză a datelor mari care susține aplicațiile scrise în C# sau F#. Această formare directă, condusă de instructori (online sau on-site) este destinată dezvoltatorilor care doresc să efectueze analiza datelor mari folosind Apache Spark în aplicațiile lor.NET. La sfârșitul cursului, participanții vor putea:

Instalați și configurați Apache Spark. Înțelegeți cum.NET implementează API-urile Spark, astfel încât acestea să poată fi accesate dintr-o aplicație.NET. Dezvoltați aplicații de prelucrare a datelor folosind C# sau F#, capabile să gestioneze seturi de date ale căror dimensiuni sunt măsurate în terabite și pedabite. Dezvoltați caracteristicile de învățare a mașinii pentru o aplicație.NET folosind abilitățile Apache Spark. Executați analiza exploratorie folosind SQL întrebări pe seturile de date mari.

Formatul cursului

Lecții și discuții interactive. Multe exerciții și practici. Implementarea pe mâini într-un mediu live-lab.

Opțiuni de personalizare

Pentru a solicita o pregătire personalizată pentru acest curs, vă rugăm să ne contactați pentru a organiza.

Apache Hadoop este un cadru popular de prelucrare a datelor pentru prelucrarea seturilor mari de date pe mai multe computere. Această formare directă, condusă de instructori (online sau on-site) este destinată administratorilor de sistem care doresc să învețe cum să stabilească, să implementeze și să gestioneze Hadoop clustere în cadrul organizației lor. La sfârșitul cursului, participanții vor putea:

Instalați și configurați Apache Hadoop. Înțelegeți cele patru componente principale ale ecosistemului Hadoop: HDFS, MapReduce, YARN și Hadoop Common. Utilizați sistemul de fișiere distribuit (HDFS) pentru a măsura un cluster la sute sau mii de noduri. •   Instalați HDFS pentru a funcționa ca un motor de stocare pentru descărcările on-premise Spark. Setarea Spark pentru a accesa soluții alternative de stocare, cum ar fi Amazon S3 și NoSQL sisteme de bază de date, cum ar fi Redis, Elasticsearch, Couchbase, Aerospike, etc. Executați sarcini administrative, cum ar fi furnizarea, gestionarea, monitorizarea și securizarea unui cluster Apache Hadoop.

Formatul cursului

Lecții și discuții interactive. Multe exerciții și practici. Implementarea pe mâini într-un mediu live-lab.

Opțiuni de personalizare

Pentru a solicita o pregătire personalizată pentru acest curs, vă rugăm să ne contactați pentru a organiza.

This instructor-led, live training in Moldova (online or onsite) is aimed at data scientists and developers who wish to use Spark NLP, built on top of Apache Spark, to develop, implement, and scale natural language text processing models and pipelines. By the end of this training, participants will be able to:

• Set up the necessary development environment to start building NLP pipelines with Spark NLP.
• Understand the features, architecture, and benefits of using Spark NLP.
• Use the pre-trained models available in Spark NLP to implement text processing.
• Learn how to build, train, and scale Spark NLP models for production-grade projects.
• Apply classification, inference, and sentiment analysis on real-world use cases (clinical data, customer behavior insights, etc.).

MLlib este biblioteca Spark de învățare automată (ML). Scopul său este de a face învățarea practică a mașinilor scalabilă și ușoară. Se compune din algoritmi și utilități comune de învățare, inclusiv clasificarea, regresia, gruparea, filtrarea colaborativă, reducerea dimensiunilor, precum și primitivele de optimizare la nivel inferior și API-urile de conducte de nivel superior. Se împarte în două pachete:

• spark.mllib conține API original construit pe partea de sus RDDs.
• spark.ml furnizează API de nivel superior construit pe partea de sus a DataFrames pentru construirea conductelor ML.

Public Acest curs este adresat inginerilor și dezvoltatorilor care încearcă să utilizeze o mașină de bibliotecă construită pentru Apache Spark

This course is aimed at developers and data scientists who wish to understand and implement AI within their applications. Special focus is given to Data Analysis, Distributed AI and NLP.

Un număr mare de probleme ale lumii reale pot fi descrise în termeni de grafice De exemplu, graficul Web, graficul rețelei sociale, graficul rețelei de tren și graficul de limbă Aceste grafice tind să fie extrem de mari; prelucrarea acestora necesită un set specializat de instrumente și procese, aceste instrumente și procese pot fi denumite Graph Computing (cunoscut și sub numele de Graph Analytics) În acest training instruit, participanții vor învăța despre ofertele de tehnologie și abordările de implementare pentru prelucrarea datelor grafice Scopul este de a identifica obiectele din lumea reală, de caracteristicile și relațiile lor, apoi de a modela aceste relații și de a le procesa ca date folosind o abordare grafică de calcul Începem cu o privire de ansamblu largă și se restrânge instrumentele specifice pe măsură ce trecem printr-o serie de studii de caz, exerciții de manevră și implementări live Până la sfârșitul acestui curs, participanții vor putea: Înțelegeți modul în care datele grafice persistă și traversează Selectați cel mai bun cadru pentru o anumită sarcină (de la baze de date grafice la cadre de procesare în bloc) Implementați Hadoop, Spark, GraphX ​​și Pregel pentru a efectua calcul grafic în mai multe mașini în paralel Vizualizați problemele mari de date realworld din punct de vedere al graficelor, proceselor și traverselor Public Dezvoltatori Formatul cursului Prelegere parte, discuții parțiale, exerciții și practici grele de manevră .