Schița de curs
Secțiunea 1: Gestionarea Datelor în HDFS
- Diferite Formate de Date (JSON / Avro / Parquet)
- Scheme de Compresie
- Maskare de Date
- Laboratoare: Analizarea diferitelor formate de date; activarea compresiei
Secțiunea 2: Pig Avansat
- Funcții Definite de Utilizator
- Introducere în Bibliotecile Pig (ElephantBird / Data-Fu)
- Încărcarea Datelor Structurate Complexe folosind Pig
- Optimizare Pig
- Laboratoare: scripturi avansate în Pig, parsarea tipurilor de date complexe
Secțiunea 3: Hive Avansat
- Funcții Definite de Utilizator
- Tabele Comprimate
- Optimizare Performanță Hive
- Laboratoare: crearea tabelelor comprimate, evaluarea formatelor de tabele și configurației
Secțiunea 4: HBase Avansat
- Modelare Avansată a Schemei
- Compresie
- Încărcare Masivă de Date
- Comparație Tabel Lat / Înalt
- HBase și Pig
- HBase și Hive
- Optimizare Performanță HBase
- Laboratoare: optimizarea HBase; accesarea datelor HBase din Pig & Hive; Utilizarea Phoenix pentru modelarea datelor
Cerințe
- cunoaștere confortabilă a limbajului de programare Java (majoritatea exercițiilor de programare sunt în Java)
- cunoaștere confortabilă a mediului Linux (să fie capabil să navigheze în linia de comandă Linux, să editeze fișiere folosind vi / nano)
- cunoștințe de bază despre Hadoop.
Mediu de laborator
Zero Install: Nu este nevoie să instalați software Hadoop pe mașinile studenților! Un cluster Hadoop funcțional va fi pus la dispoziția studenților.
Studenții vor avea nevoie de următoarele
Mărturii (5)
Exemplele live
Ahmet Bolat - Accenture Industrial SS
Curs - Python, Spark, and Hadoop for Big Data
Tradus de catre o masina
În timpul exercițiilor, James mi-a explicat fiecare pas în detaliu de ori câteori m-am blocat. Eram complet nou în ceea ce privește NIFI. El mi-a clarificat scopul real al NIFI, inclusiv noțiunile de bază precum open source. A acoperit toate conceptele Nifi, începând de la nivelul de începător până la nivelul de dezvoltator.
Firdous Hashim Ali - MOD A BLOCK
Curs - Apache NiFi for Administrators
Tradus de catre o masina
Că l-am avut în primul rând.
Peter Scales - CACI Ltd
Curs - Apache NiFi for Developers
Tradus de catre o masina
aspecte practice de lucru, precum și teoria au fost prezentate bine de Ajay
Dominik Mazur - Capgemini Polska Sp. z o.o.
Curs - Hadoop Administration on MapR
Tradus de catre o masina
Măsimă întemeiat de VM Profesorul a fost foarte bine informat despre subiect și alte subiecte, a fost foarte prietenos și amabil Mi-a plăcut facilitatea din Dubai.
Safar Alqahtani - Elm Information Security
Curs - Big Data Analytics in Health
Tradus de catre o masina