Cursuri de pregatire Procesarea Fluxurilor de Date cu Kafka Streams
Kafka Streams este o bibliotecă pentru partea de client, utilizată pentru a construi aplicații și microservicii ale căror date sunt transmise către și de la un sistem de mesagerie Kafka. În mod tradițional, Apache Kafka a folosit Apache Spark sau Apache Storm pentru a procesa datele între producătorii și consumatorii de mesaje. Prin apelarea API-ului Kafka Streams din interiorul unei aplicații, datele pot fi procesate direct în Kafka, eliminând necesitatea de a trimite datele către un cluster separat pentru procesare.
În cadrul acestui training condus de un instructor, participanții vor învăța cum să integreze Kafka Streams într-un set de aplicații Java de exemplu, care transmit date către și de la Apache Kafka pentru procesarea fluxurilor de date.
La finalul acestui training, participanții vor putea:
- Să înțeleagă caracteristicile și avantajele Kafka Streams față de alte framework-uri de procesare a fluxurilor de date
- Să proceseze datele fluxurilor direct într-un cluster Kafka
- Să scrie o aplicație sau microserviciu în Java sau Scala care să se integreze cu Kafka și Kafka Streams
- Să scrie cod concis care să transforme topicurile Kafka de intrare în topicuri Kafka de ieșire
- Să construiască, să pachetizeze și să implementeze aplicația
Publicul țintă
- Dezvoltatori
Formatul cursului
- Parțial curs teoretic, discuții, exerciții și practică intensă
Note
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja
Schița de curs
Introducere
- Kafka vs Spark, Flink și Storm
Prezentarea generală a caracteristicilor Kafka Streams
- Procesare cu și fără stare, procesare bazată pe timpul evenimentului, DSL, operațiuni de fereastră bazate pe timpul evenimentului, etc.
Studiu de caz: API-ul Kafka Streams pentru Bugetare Predictivă
Configurarea mediului de dezvoltare
Crearea unei aplicații de fluxuri
Pornirea clusterului Kafka
Pregătirea topicurilor și a datelor de intrare
Opțiuni pentru procesarea datelor fluxurilor
- Kafka Streams DSL de nivel înalt
- Processor de nivel inferior
Transformarea datelor de intrare
Inspectarea datelor de ieșire
Oprirea clusterului Kafka
Opțiuni pentru implementarea aplicației
- Instrumente clasice de operare (Puppet, Chef și Salt)
- Docker
- Fișier WAR
Depanare
Rezumat și concluzii
Cerințe
- Cunoștințe despre Apache Kafka
- Experiență în programarea Java
Cursurile publice necesita 5+ participanti
Cursuri de pregatire Procesarea Fluxurilor de Date cu Kafka Streams - Rezervare
Cursuri de pregatire Procesarea Fluxurilor de Date cu Kafka Streams - Solicitare
Procesarea Fluxurilor de Date cu Kafka Streams - Cerere de consultanta
Mărturii (1)
Retergerea/revizuirea punctelor cheie ale temelor discutate.
Paolo Angelo Gaton - SMS Global Technologies Inc.
Curs - Building Stream Processing Applications with Kafka Streams
Tradus de catre o masina
Cursuri viitoare
Cursuri înrudite
Administrarea Confluent Apache Kafka
21 OreConfluent Apache Kafka este o platformă de streaming de evenimente distribuită, proiectată pentru conducte de date tolerante la defecțiuni și analize în timp real.
Acest training condus de un instructor, live (online sau la fața locului) este destinat administratorilor de sistem de nivel intermediar și profesioniștilor DevOps care doresc să instaleze, să configureze, să monitorizeze și să depaneze clustere Confluent Apache Kafka.
La finalul acestui training, participanții vor putea:
- Înțelege componentele și arhitectura Confluent Kafka.
- Deploy și gestionează brokeri Kafka, quorum-uri Zookeeper și servicii cheie.
- Configurează funcții avansate, inclusiv securitate, replicare și optimizare a performanței.
- Folosește instrumente de management pentru a monitoriza și întreține clustere Kafka.
Formatul cursului
- Prelegere interactivă și discuții.
- Multe exerciții și practică.
- Implementare practică într-un mediu live-lab.
Opțiuni de personalizare a cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Apache Kafka Connect
7 OreAcest training condus de un instructor, în format live în Moldova (online sau la fața locului), este destinat dezvoltatorilor care doresc să integreze Apache Kafka cu baze de date și aplicații existente pentru procesare, analiză etc.
La finalul acestui training, participanții vor putea:
- Să utilizeze Kafka Connect pentru a ingera volume mari de date dintr-o bază de date în subiecte Kafka.
- Să ingere date de log generate de servere de aplicații în subiecte Kafka.
- Să facă orice date colectate disponibile pentru procesare în flux.
- Să exporte date din subiecte Kafka în sisteme secundare pentru stocare și analiză.
Confluent Apache Kafka: Operațiuni și Configurare a Clustere
16 OreConfluent Apache Kafka este o platformă de streaming de evenimente de nivel enterprise, construită pe baza Apache Kafka. Aceasta susține conducte de date cu debit ridicat, tolerantă la defecțiuni și aplicații de streaming în timp real.
Acest training condus de un instructor, live (online sau la fața locului), este destinat inginerilor și administratorilor de nivel intermediar care doresc să implementeze, să configureze și să optimizeze clustere Confluent Kafka în medii de producție.
La sfârșitul acestui training, participanții vor putea:
- Instala, configura și opera clustere Confluent Kafka cu mai mulți brokeri.
- Proiecta configurații de înaltă disponibilitate folosind Zookeeper și tehnici de replicare.
- Regla performanța, monitoriza metrici și aplica strategii de recuperare.
- Securiza, scala și integra Kafka în medii enterprise.
Formatul Cursului
- Prelegere interactivă și discuții.
- Multe exerciții și practică.
- Implementare practică într-un mediu live-lab.
Opțiuni de Personalizare a Cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Construirea de Soluții Kafka cu Confluent
14 OreAcest training condus de un instructor, live (online sau la fața locului) este destinat inginerilor care doresc să folosească Confluent (o distribuție a Kafka) pentru a construi și a gestiona o platformă de procesare a datelor în timp real pentru aplicațiile lor.
La sfârșitul acestui training, participanții vor putea:
- Instala și configura Confluent Platform.
- Folosi instrumentele și serviciile de management Confluent pentru a rula Kafka mai ușor.
- Stoca și procesa datele de flux primite.
- Optimiza și gestiona clusterele Kafka.
- Proteja fluxurile de date.
Formatul Cursului
- Prezentare interactivă și discuții.
- Multe exerciții și practică.
- Implementare practică într-un mediu live-lab.
Opțiuni de Personalizare a Cursului
- Acest curs se bazează pe versiunea open source a Confluent: Confluent Open Source.
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Construirea de Fluxuri de Date cu Apache Kafka
7 OreApache Kafka este o platformă de streaming distribuită. Este de facto un standard pentru construirea de fluxuri de date și rezolvă o mulțime de cazuri de utilizare în jurul procesării datelor: poate fi folosită ca coadă de mesaje, jurnal distribuit, procesor de fluxuri, etc.
Vom începe cu o parte de teorie despre fluxurile de date în general, apoi vom continua cu conceptele fundamentale din spatele lui Kafka. Vom descoperi, de asemenea, componente importante precum Kafka Streams și Kafka Connect.
O Introducere Practică în Procesarea Fluxurilor de Date
21 OreÎn acest training condus de un instructor, live în Moldova (la fața locului sau la distanță), participanții vor învăța cum să configureze și să integreze diferite framework-uri de procesare a fluxurilor de date cu sistemele existente de stocare a datelor mari și cu aplicațiile software și microserviciile conexe.
La sfârșitul acestui training, participanții vor putea:
- Să instaleze și să configureze diferite framework-uri de procesare a fluxurilor de date, cum ar fi Spark Streaming și Kafka Streaming.
- Să înțeleagă și să selecteze cel mai potrivit framework pentru sarcină.
- Să proceseze date continuu, concurent și într-o manieră record-by-record.
- Să integreze soluții de procesare a fluxurilor de date cu baze de date existente, depozite de date, lacuri de date etc.
- Să integreze cea mai potrivită bibliotecă de procesare a fluxurilor de date cu aplicațiile enterprise și microserviciile.
Mesagerie Distribuită cu Apache Kafka
14 OreAcest curs este destinat arhitecților de întreprindere, dezvoltatorilor, administratorilor de sistem și oricărui altcineva care dorește să înțeleagă și să utilizeze un sistem de mesagerie distribuită de înaltă performanță. Dacă aveți cerințe mai specifice (de exemplu, doar partea de administrare a sistemului), acest curs poate fi adaptat pentru a se potrivi mai bine nevoilor dumneavoastră.
Kafka pentru Administratori
21 OreAceastă formare condusă de un instructor, live în Moldova (online sau la fața locului) este destinată administratorilor de sistem și inginerilor de operații de nivel începător / intermediar / avansat care doresc să folosească Apache Kafka pentru a implementa, securiza, monitoriza și depana clustere Kafka.
La finalul acestei formări, participanții vor putea: să explice arhitectura Kafka și modul KRaft, să opereze și securizeze clustere Kafka, să monitorizeze performanța și fiabilitatea, și să rezolve probleme comune de producție.
Apache Kafka pentru Dezvoltatori
21 OreAcest training condus de un instructor, live în Moldova (online sau la fața locului), este destinat dezvoltatorilor de nivel intermediar care doresc să dezvolte aplicații de big data folosind Apache Kafka.
La finalul acestui training, participanții vor putea:
- Dezvolta producători și consumatori Kafka pentru a trimite și citi date din Kafka.
- Integra Kafka cu sisteme externe folosind Kafka Connect.
- Scrie aplicații de streaming cu Kafka Streams & ksqlDB.
- Integra o aplicație client Kafka cu Confluent Cloud pentru implementări Kafka bazate pe cloud.
- Dobândi experiență practică prin exerciții practice și cazuri de utilizare din lumea reală.
Apache Kafka pentru Programatori Python
7 OreAcest training condus de un instructor, live în Moldova (online sau la fața locului), este destinat inginerilor de date, oamenilor de știință de date și programatorilor care doresc să utilizeze funcționalitățile Apache Kafka în fluxurile de date folosind Python.
La sfârșitul acestui training, participanții vor putea folosi Apache Kafka pentru a monitoriza și gestiona condițiile din fluxurile de date continue folosind programarea în Python.
Fundamentele Kafka pentru Dezvoltatori Java
14 OreAcest training condus de un instructor, live în Moldova (online sau la fața locului) este destinat dezvoltatorilor Java de nivel intermediar care doresc să integreze Apache Kafka în aplicațiile lor pentru mesagerie fiabilă, scalabilă și de mare debit.
La finalul acestui training, participanții vor putea:
- Să înțeleagă arhitectura și componentele de bază ale Kafka.
- Să configureze și să gestioneze un cluster Kafka.
- Să producă și să consume mesaje folosind Java.
- Să implementeze Kafka Streams pentru procesarea datelor în timp real.
- Să asigure toleranță la erori și scalabilitate în aplicațiile Kafka.
Administrarea cozii de mesaje Kafka
14 OreAcest training condus de un instructor, live în Moldova (online sau la fața locului), este destinat administratorilor de sisteme de nivel intermediar care doresc să utilizeze eficient funcționalitățile de coadă de mesaje ale Kafka.
La finalul acestui training, participanții vor putea:
- Să înțeleagă capacitățile și arhitectura de coadă de mesaje ale Kafka.
- Să configureze subiecte Kafka pentru scenarii de coadă de mesaje.
- Să producă și să consume mesaje folosind Kafka.
- Să monitorizeze și să gestioneze Kafka ca o coadă de mesaje.
Securitate pentru Apache Kafka
7 OreAcest training condus de un instructor, live în Moldova (online sau la fața locului), este destinat testerilor de software care doresc să implementeze măsuri de securitate a rețelei într-o aplicație Apache Kafka.
La finalul acestui training, participanții vor putea:
- Să implementeze Apache Kafka pe un server bazat pe cloud.
- Să implementeze criptarea SSL pentru a preveni atacurile.
- Să adauge autentificare ACL pentru a urmări și controla accesul utilizatorilor.
- Să asigure că clienții credibili au acces la clusterele Kafka prin autentificare SSL și SASL.
Apache Kafka și Spring Boot
7 OreAcest training condus de un instructor, live în Moldova (online sau la fața locului), este destinat dezvoltatorilor de nivel intermediar care doresc să învețe elementele de bază ale Kafka și să îl integreze cu Spring Boot.
La finalul acestui training, participanții vor putea:
- Să înțeleagă Kafka și arhitectura sa.
- Să învețe cum să instaleze, să configureze și să configureze un mediu de bază Kafka.
- Să integreze Kafka cu Spring Boot.
Administrarea Topic-urilor Kafka
14 OreAcest training condus de un instructor, live în Moldova (online sau la fața locului), este destinat administratorilor de sisteme de la nivel începător până la intermediar, care doresc să învețe cum să gestioneze eficient topic-urile Kafka pentru un streaming și procesare eficientă a datelor.
La finalul acestui training, participanții vor putea:
- Înțelege noțiunile de bază și arhitectura topic-urilor Kafka.
- Crea, configura și gestionează topic-uri Kafka.
- Monitoriza topic-urile Kafka în ceea ce privește sănătatea, performanța și disponibilitatea.
- Implementa măsuri de securitate pentru topic-urile Kafka.