Schița de curs
Elemente de bază ale NiFi și Fluxului de Date
- Date în mișcare vs date în repaus: concepte și provocări
- Arhitectura NiFi: nuclee, controler de flux, proveniență și buletin
- Componente cheie: procesoare, conexiuni, controlere și proveniență
Contextul Big Data și Integrarea
- Rolul NiFi în ecosistemele Big Data (Hadoop, Kafka, stocare în cloud)
- Prezentare generală a HDFS, MapReduce și alternativelor moderne
- Cazuri de utilizare: ingestie de fluxuri, transport de loguri, conducte de evenimente
Instalare, Configurare și Setare Clustere
- Instalarea NiFi pe un singur nod și în modul cluster
- Configurarea clusterului: roluri ale nodurilor, Zookeeper și echilibrarea sarcinii
- Orchestrarea implementărilor NiFi: utilizarea Ansible, Docker sau Helm
Proiectarea și Gestionarea Fluxurilor de Date
- Rutarea, filtrarea, divizarea, unirea fluxurilor
- Configurarea procesorului (InvokeHTTP, QueryRecord, PutDatabaseRecord, etc.)
- Gestionarea operațiilor de schemă, îmbogățire și transformare
- Gestionarea erorilor, relații de reîncercare și backpressure
Scenarii de Integrare
- Conectarea la baze de date, sisteme de mesagerie, API-uri REST
- Streaming către sisteme de analiză: Kafka, Elasticsearch sau stocare în cloud
- Integrare cu Splunk, Prometheus sau conducte de logare
Monitorizare, Recuperare și Proveniență
- Utilizarea interfeței NiFi, metricilor și vizualizatorului de proveniență
- Proiectarea recuperării autonome și gestionarea grațioasă a defecțiunilor
- Backup, versionare a fluxurilor și gestionarea schimbărilor
Optimizarea Performanței
- Reglarea JVM, heap, pool-uri de fire și parametri de cluster
- Optimizarea designului fluxului pentru a reduce punctele de blocare
- Izolarea resurselor, priorizarea fluxurilor și controlul debitului
Bune Practici și Guvernanță
- Documentarea fluxurilor, standarde de denumire, design modular
- Securitate: TLS, autentificare, controlul accesului, criptarea datelor
- Controlul schimbărilor, versionare, acces bazat pe roluri, urme de audit
Depanare și Răspuns la Incidente
- Probleme comune: blocaje, scurgeri de memorie, erori ale procesorului
- Analiza logurilor, diagnosticarea erorilor și investigarea cauzelor rădăcină
- Strategii de recuperare și revenire la fluxurile anterioare
Laborator Practic: Implementarea unei Conducte Realiste de Date
- Construirea unui flux de la cap la cap: ingestie, transformare, livrare
- Implementarea gestionării erorilor, backpressure și scalării
- Testarea și optimizarea performanței conductei
Rezumat și Pași Următori
Cerințe
- Experiență cu linia de comandă Linux
- Înțelegere de bază a rețelelor și sistemelor de date
- Expunere la concepte de streaming de date sau ETL
Publicul țintă
- Administratori de sisteme
- Ingineri de date
- Dezvoltatori
- Profesioniști DevOps
Mărturii (7)
Exerciții practice. Clasa ar fi trebuit să dureze 5 zile, dar cele 3 zile au ajutat la clarificarea multor întrebări pe care le aveam din cauza lucrului cu NiFi.
James - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
M-am gândit că ritmul formatorului era bun. Nu a lăsat niciun student în urmă cu abordarea sa. A fost foarte de ajutor pentru noi CELE NOI, care s-ar putea să nu fi avut un rol de Administrator de Sisteme sau Infrastructură în cariera noastră sau care au reactivat acele abilități dintr-o perioadă anterioară a carierei noastre.
Pamdrea Ivory - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
Mă plac secțiunea practică. Mi-a ajutat să rețin mai bine informațiile prin efectuarea exercițiilor oferite. De asemenea, abilitatea instrucționarului de a interacționa cu întreaga clasă m-a făcut să mă simt confortabil să pun întrebări despre lucruri pe care nu le înțelegeam.
Leila - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
Cazuri de utilizare și exemple pentru construirea fluxurilor de date NiFi. Am lucrat la rezolvarea problemelor comune și ale capcanelor.
Nelson - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
Mi-a plăcut structura. În prima zi ne-am uitat la noțiunile de bază ale Nifi, concepte, cazuri de utilizare etc. Pe a doua zi, am putut aplica cunoștințele din prima zi construind fluxuri pentru a satisface cerințele scenariilor. În a treia zi, am fost prezentat cu Registry-ul Nifi și controlul versiunilor, multi-tenanța și am trecut în revizuire întrebările și răspunsurile.
Adam - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
Mă bucur că a reușit să-și expună în detaliu despre Nifi și cât de puternic este. De fapt, îl poți folosi pentru orice infrastructură și cu multe limbaje de programare diferite. De asemenea, m-am bucurat că am reușit să rezolvăm problema cu renouvarea certificatului Nifi pe care o avem cu Truststore.
Joachim Martin - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
cunoștințe generale și posibilitățile pe care instruirea le oferă în ceea ce privește instrumentul.
Nalfis Tobar - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
