Schița de curs
Sectiunea 1: Introducere în Hadoop
- Istoric și concepte Hadoop
- ecosistem
- distribuții
- arhitectură la nivel ridicat
- mituri Hadoop
- provocări Hadoop
- hardware / software
- lab : primul contact cu Hadoop
Sectiunea 2: HDFS
- Dizain și arhitectură
- concepte (scalare orizontală, replicare, localitate a datelor, conștiință de raț)
- Daemon : Namenode, Secondary namenode, Data node
- comunicări / pulsuri
- integritatea datelor
- cale de citire / scriere
- Namenode Disponibilitate Înaltă (HA), Federare
- labs : Interacțiune cu HDFS
Sectiunea 3 : Map Reduce
- concepte și arhitectură
- daemon (MRV1) : jobtracker / tasktracker
- faze : driver, mapper, shuffle/sort, reducer
- Map Reduce Versiunea 1 și Versiunea 2 (YARN)
- Interne ale Map Reduce
- Introducere în programul Java Map Reduce
- labs : Executarea unui exemplu de program MapReduce
Sectiunea 4 : Pig
- Pig vs java map reduce
- fluxul job-ului pig
- limbajul pig latin
- ETL cu Pig
- transformări și uniuni
- funcții definite de utilizator (UDF)
- labs : scrierea scripturilor Pig pentru analiza datelor
Sectiunea 5: Hive
- arhitectură și design
- tipuri de date
- susținere SQL în Hive
- Creați tabele Hive și interogați-le
- partiții
- uniuni
- procesare text
- labs : laboratoare diverse pentru procesarea datelor cu Hive
Sectiunea 6: HBase
- concepte și arhitectură
- HBase vs RDBMS vs Cassandra
- HBase API Java
- Date de serie temporală în HBase
- dizajn schemă
- labs : Interacțiune cu HBase folosind shell; programare în HBase API Java ; exerciții de dizajn schema
Cerințe
- familiarizat cu limbajul de programare Java (mai multe exerciții de programare sunt în Java)
- confortabil în mediul Linux (trebuie să știți să navigați la linia de comandă a lui Linux, să editați fișiere folosind vi / nano)
Mediu de laborator
Nu este nevoie de instalare : Nu este necesară instalarea software-ului Hadoop pe mașinile studenților! Voi fi furnizat un cluster funcțional Hadoop pentru studenți.
Studenții vor avea nevoie de următoarele
- un client SSH (Linux și Mac au deja clienți SSH, pentru Windows se recomandă Putty)
- un browser pentru accesarea clusterului, se recomandă Firefox
Mărturii (5)
Exemplele în direct
Ahmet Bolat - Accenture Industrial SS
Curs - Python, Spark, and Hadoop for Big Data
Tradus de catre o masina
În timpul exercițiilor, James m-a explicat cu mai multe detalii fiecare pas în care mă blocau. Eram complet nou la NIFI. El m-a explicat scopul real al lui NIFI, chiar conceptele de bază cum ar fi open source. El a acoperit toate conceptele ale lui Nifi, începând cu nivelul de începător până la nivelul dezvoltatorului.
Firdous Hashim Ali - MOD A BLOCK
Curs - Apache NiFi for Administrators
Tradus de catre o masina
Prepararea și organizarea formatorului și calitatea materialelor furnizate pe github.
Mateusz Rek - MicroStrategy Poland Sp. z o.o.
Curs - Impala for Business Intelligence
Tradus de catre o masina
Cu toate acestea că l-am avut în primul rând. (Note: The given sentence is somewhat incomplete or out of context, so the translation maintains that structure and tone.)
Peter Scales - CACI Ltd
Curs - Apache NiFi for Developers
Tradus de catre o masina
Translate this From: en To: ro lucruri practice de făcut, precum și teorie bine prezentată de Ajay
Dominik Mazur - Capgemini Polska Sp. z o.o.
Curs - Hadoop Administration on MapR
Tradus de catre o masina