Schița de curs

1: HDFS (17%)

  • Descrieți funcția Daemon-urilor HDFS
  • Descrieți funcționarea normală a unui cluster Apache Hadoop, atât în ceea ce privește stocarea datelor, cât și procesarea acestora.
  • Identificați caracteristicile actuale ale sistemelor de calcul care motivează un sistem precum Apache Hadoop.
  • Clasificați obiectivele majore ale proiectării HDFS
  • Într-un scenariu dat, identificați cazul de utilizare adecvat pentru HDFS Federation
  • Identificați componentele și daemon-ul unui cluster HDFS HA-Quorum
  • Analizați rolul securității HDFS (Kerberos)
  • Determinați cea mai bună alegere de serializare a datelor pentru un scenariu dat
  • Descrieți căile de citire și scriere a fișierelor
  • Identificați comenzile pentru manipularea fișierelor în Hadoop File System Shell

2: YARN și MapReduce versiunea 2 (MRv2) (17%)

  • Înțelegeți cum afectează actualizarea unui cluster de la Hadoop 1 la Hadoop 2 setările clusterului
  • Înțelegeți cum să implementați MapReduce v2 (MRv2 / YARN), inclusiv toate daemon-urile YARN
  • Înțelegeți strategia de bază de proiectare pentru MapReduce v2 (MRv2)
  • Determinați cum gestionează YARN alocarea resurselor
  • Identificați fluxul de lucru al unui job MapReduce care rulează pe YARN
  • Determinați ce fișiere trebuie modificate și cum pentru a migra un cluster de la MapReduce versiunea 1 (MRv1) la MapReduce versiunea 2 (MRv2) care rulează pe YARN.

3: Planificarea Clusterului Hadoop (16%)

  • Puncte principale de luat în considerare atunci când alegeți hardware-ul și sistemele de operare pentru a găzdui un cluster Apache Hadoop.
  • Analizați opțiunile în alegerea unui sistem de operare
  • Înțelegeți reglarea kernel-ului și schimbul de discuri
  • Într-un scenariu și model de sarcină dat, identificați o configurație hardware adecvată scenariului
  • Într-un scenariu dat, determinați componentele ecosistemului necesare clusterului dumneavoastră pentru a îndeplini SLA
  • Dimensionarea clusterului: într-un scenariu dat și frecvență de execuție, identificați specificațiile pentru sarcina de lucru, inclusiv CPU, memorie, stocare, I/O disc
  • Dimensionarea și configurația discurilor, inclusiv JBOD față de RAID, SAN-uri, virtualizare și cerințe de dimensiune a discurilor într-un cluster
  • Topologii de rețea: înțelegeți utilizarea rețelei în Hadoop (atât pentru HDFS, cât și pentru MapReduce) și propuneți sau identificați componentele cheie de proiectare a rețelei pentru un scenariu dat

4: Instalarea și Administrarea Clusterului Hadoop (25%)

  • Într-un scenariu dat, identificați cum va gestiona clusterul defecțiunile de disc și mașini
  • Analizați o configurație de jurnalizare și formatul fișierului de configurare a jurnalizării
  • Înțelegeți elementele de bază ale metricilor Hadoop și monitorizarea stării clusterului
  • Identificați funcția și scopul instrumentelor disponibile pentru monitorizarea clusterului
  • Fiți capabil să instalați toate componentele ecosistemului în CDH 5, inclusiv (dar nu limitat la): Impala, Flume, Oozie, Hue, Manager, Sqoop, Hive și Pig
  • Identificați funcția și scopul instrumentelor disponibile pentru gestionarea sistemului de fișiere Apache Hadoop

5: Gestionarea Resurselor (10%)

  • Înțelegeți obiectivele generale de proiectare ale fiecărui planificator Hadoop
  • Într-un scenariu dat, determinați cum alocă planificatorul FIFO resursele clusterului
  • Într-un scenariu dat, determinați cum alocă planificatorul Fair resursele clusterului sub YARN
  • Într-un scenariu dat, determinați cum alocă planificatorul Capacity resursele clusterului

6: Monitorizare și Jurnalizare (15%)

  • Înțelegeți funcțiile și caracteristicile abilităților de colectare a metricilor Hadoop
  • Analizați interfețele web NameNode și JobTracker
  • Înțelegeți cum să monitorizați daemon-ii clusterului
  • Identificați și monitorizați utilizarea CPU pe nodurile principale
  • Descrieți cum să monitorizați schimbul și alocarea memoriei pe toate nodurile
  • Identificați cum să vizualizați și să gestionați fișierele de jurnal Hadoop
  • Interpretați un fișier de jurnal

Cerințe

  • Competențe de bază în administrarea Linux
  • Competențe de bază în programare
 35 Ore

Numărul de participanți


Pret per participant

Mărturii (3)

Cursuri viitoare

Categorii înrudite