Cursuri de pregatire Procesarea Fluxurilor de Date cu Kafka Streams
Kafka Streams este o bibliotecă pentru partea de client, utilizată pentru a construi aplicații și microservicii ale căror date sunt transmise către și de la un sistem de mesagerie Kafka. În mod tradițional, Apache Kafka a folosit Apache Spark sau Apache Storm pentru a procesa datele între producătorii și consumatorii de mesaje. Prin apelarea API-ului Kafka Streams din interiorul unei aplicații, datele pot fi procesate direct în Kafka, eliminând necesitatea de a trimite datele către un cluster separat pentru procesare.
În cadrul acestui training condus de un instructor, participanții vor învăța cum să integreze Kafka Streams într-un set de aplicații Java de exemplu, care transmit date către și de la Apache Kafka pentru procesarea fluxurilor de date.
La finalul acestui training, participanții vor putea:
- Să înțeleagă caracteristicile și avantajele Kafka Streams față de alte framework-uri de procesare a fluxurilor de date
- Să proceseze datele fluxurilor direct într-un cluster Kafka
- Să scrie o aplicație sau microserviciu în Java sau Scala care să se integreze cu Kafka și Kafka Streams
- Să scrie cod concis care să transforme topicurile Kafka de intrare în topicuri Kafka de ieșire
- Să construiască, să pachetizeze și să implementeze aplicația
Publicul țintă
- Dezvoltatori
Formatul cursului
- Parțial curs teoretic, discuții, exerciții și practică intensă
Note
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja
Schița de curs
Introducere
- Kafka vs Spark, Flink și Storm
Prezentarea generală a caracteristicilor Kafka Streams
- Procesare cu și fără stare, procesare bazată pe timpul evenimentului, DSL, operațiuni de fereastră bazate pe timpul evenimentului, etc.
Studiu de caz: API-ul Kafka Streams pentru Bugetare Predictivă
Configurarea mediului de dezvoltare
Crearea unei aplicații de fluxuri
Pornirea clusterului Kafka
Pregătirea topicurilor și a datelor de intrare
Opțiuni pentru procesarea datelor fluxurilor
- Kafka Streams DSL de nivel înalt
- Processor de nivel inferior
Transformarea datelor de intrare
Inspectarea datelor de ieșire
Oprirea clusterului Kafka
Opțiuni pentru implementarea aplicației
- Instrumente clasice de operare (Puppet, Chef și Salt)
- Docker
- Fișier WAR
Depanare
Rezumat și concluzii
Cerințe
- Cunoștințe despre Apache Kafka
- Experiență în programarea Java
Cursurile publice necesita 5+ participanti
Cursuri de pregatire Procesarea Fluxurilor de Date cu Kafka Streams - Rezervare
Cursuri de pregatire Procesarea Fluxurilor de Date cu Kafka Streams - Solicitare
Procesarea Fluxurilor de Date cu Kafka Streams - Cerere de consultanta
Mărturii (1)
Retergerea/revizuirea punctelor cheie ale temelor discutate.
Paolo Angelo Gaton - SMS Global Technologies Inc.
Curs - Building Stream Processing Applications with Kafka Streams
Tradus de catre o masina
Cursuri viitoare
Cursuri înrudite
Apache Kafka Connect
7 OreAcest training condus de un instructor, în format live în Moldova (online sau la fața locului), este destinat dezvoltatorilor care doresc să integreze Apache Kafka cu baze de date și aplicații existente pentru procesare, analiză etc.
La finalul acestui training, participanții vor putea:
- Să utilizeze Kafka Connect pentru a ingera volume mari de date dintr-o bază de date în subiecte Kafka.
- Să ingere date de log generate de servere de aplicații în subiecte Kafka.
- Să facă orice date colectate disponibile pentru procesare în flux.
- Să exporte date din subiecte Kafka în sisteme secundare pentru stocare și analiză.
Construirea de Soluții Kafka cu Confluent
14 OreAcest training condus de un instructor, live (online sau la fața locului) este destinat inginerilor care doresc să folosească Confluent (o distribuție a Kafka) pentru a construi și a gestiona o platformă de procesare a datelor în timp real pentru aplicațiile lor.
La sfârșitul acestui training, participanții vor putea:
- Instala și configura Confluent Platform.
- Folosi instrumentele și serviciile de management Confluent pentru a rula Kafka mai ușor.
- Stoca și procesa datele de flux primite.
- Optimiza și gestiona clusterele Kafka.
- Proteja fluxurile de date.
Formatul Cursului
- Prezentare interactivă și discuții.
- Multe exerciții și practică.
- Implementare practică într-un mediu live-lab.
Opțiuni de Personalizare a Cursului
- Acest curs se bazează pe versiunea open source a Confluent: Confluent Open Source.
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Construirea de Fluxuri de Date cu Apache Kafka
7 OreApache Kafka este o platformă de streaming distribuită. Este de facto un standard pentru construirea de fluxuri de date și rezolvă o mulțime de cazuri de utilizare în jurul procesării datelor: poate fi folosită ca coadă de mesaje, jurnal distribuit, procesor de fluxuri, etc.
Vom începe cu o parte de teorie despre fluxurile de date în general, apoi vom continua cu conceptele fundamentale din spatele lui Kafka. Vom descoperi, de asemenea, componente importante precum Kafka Streams și Kafka Connect.
O Introducere Practică în Procesarea Fluxurilor de Date
21 OreÎn acest training condus de un instructor, live în Moldova (la fața locului sau la distanță), participanții vor învăța cum să configureze și să integreze diferite framework-uri de procesare a fluxurilor de date cu sistemele existente de stocare a datelor mari și cu aplicațiile software și microserviciile conexe.
La sfârșitul acestui training, participanții vor putea:
- Să instaleze și să configureze diferite framework-uri de procesare a fluxurilor de date, cum ar fi Spark Streaming și Kafka Streaming.
- Să înțeleagă și să selecteze cel mai potrivit framework pentru sarcină.
- Să proceseze date continuu, concurent și într-o manieră record-by-record.
- Să integreze soluții de procesare a fluxurilor de date cu baze de date existente, depozite de date, lacuri de date etc.
- Să integreze cea mai potrivită bibliotecă de procesare a fluxurilor de date cu aplicațiile enterprise și microserviciile.
Mesagerie Distribuită cu Apache Kafka
14 OreAcest curs este destinat arhitecților de întreprindere, dezvoltatorilor, administratorilor de sistem și oricărui altcineva care dorește să înțeleagă și să utilizeze un sistem de mesagerie distribuită de înaltă performanță. Dacă aveți cerințe mai specifice (de exemplu, doar partea de administrare a sistemului), acest curs poate fi adaptat pentru a se potrivi mai bine nevoilor dumneavoastră.
Kafka pentru Administratori
21 OreAceastă formare condusă de un instructor, live în Moldova (online sau la fața locului) este destinată administratorilor de sistem și inginerilor de operații de nivel începător / intermediar / avansat care doresc să folosească Apache Kafka pentru a implementa, securiza, monitoriza și depana clustere Kafka.
La finalul acestei formări, participanții vor putea: să explice arhitectura Kafka și modul KRaft, să opereze și securizeze clustere Kafka, să monitorizeze performanța și fiabilitatea, și să rezolve probleme comune de producție.
Apache Kafka pentru Dezvoltatori
21 OreAcest training condus de un instructor, live în Moldova (online sau la fața locului), este destinat dezvoltatorilor de nivel intermediar care doresc să dezvolte aplicații de big data folosind Apache Kafka.
La finalul acestui training, participanții vor putea:
- Dezvolta producători și consumatori Kafka pentru a trimite și citi date din Kafka.
- Integra Kafka cu sisteme externe folosind Kafka Connect.
- Scrie aplicații de streaming cu Kafka Streams & ksqlDB.
- Integra o aplicație client Kafka cu Confluent Cloud pentru implementări Kafka bazate pe cloud.
- Dobândi experiență practică prin exerciții practice și cazuri de utilizare din lumea reală.
Apache Kafka pentru Programatori Python
7 OreAcest training condus de un instructor, live în Moldova (online sau la fața locului), este destinat inginerilor de date, oamenilor de știință de date și programatorilor care doresc să utilizeze funcționalitățile Apache Kafka în fluxurile de date folosind Python.
La sfârșitul acestui training, participanții vor putea folosi Apache Kafka pentru a monitoriza și gestiona condițiile din fluxurile de date continue folosind programarea în Python.
Fundamentele Kafka pentru Dezvoltatori Java
14 OreAcest training condus de un instructor, live în Moldova (online sau la fața locului) este destinat dezvoltatorilor Java de nivel intermediar care doresc să integreze Apache Kafka în aplicațiile lor pentru mesagerie fiabilă, scalabilă și de mare debit.
La finalul acestui training, participanții vor putea:
- Să înțeleagă arhitectura și componentele de bază ale Kafka.
- Să configureze și să gestioneze un cluster Kafka.
- Să producă și să consume mesaje folosind Java.
- Să implementeze Kafka Streams pentru procesarea datelor în timp real.
- Să asigure toleranță la erori și scalabilitate în aplicațiile Kafka.
Administrarea cozii de mesaje Kafka
14 OreAcest training condus de un instructor, live în Moldova (online sau la fața locului), este destinat administratorilor de sisteme de nivel intermediar care doresc să utilizeze eficient funcționalitățile de coadă de mesaje ale Kafka.
La finalul acestui training, participanții vor putea:
- Să înțeleagă capacitățile și arhitectura de coadă de mesaje ale Kafka.
- Să configureze subiecte Kafka pentru scenarii de coadă de mesaje.
- Să producă și să consume mesaje folosind Kafka.
- Să monitorizeze și să gestioneze Kafka ca o coadă de mesaje.
Securitate pentru Apache Kafka
7 OreAcest training condus de un instructor, live în Moldova (online sau la fața locului), este destinat testerilor de software care doresc să implementeze măsuri de securitate a rețelei într-o aplicație Apache Kafka.
La finalul acestui training, participanții vor putea:
- Să implementeze Apache Kafka pe un server bazat pe cloud.
- Să implementeze criptarea SSL pentru a preveni atacurile.
- Să adauge autentificare ACL pentru a urmări și controla accesul utilizatorilor.
- Să asigure că clienții credibili au acces la clusterele Kafka prin autentificare SSL și SASL.
Apache Kafka și Spring Boot
7 OreAcest training condus de un instructor, live în Moldova (online sau la fața locului), este destinat dezvoltatorilor de nivel intermediar care doresc să învețe elementele de bază ale Kafka și să îl integreze cu Spring Boot.
La finalul acestui training, participanții vor putea:
- Să înțeleagă Kafka și arhitectura sa.
- Să învețe cum să instaleze, să configureze și să configureze un mediu de bază Kafka.
- Să integreze Kafka cu Spring Boot.
Administrarea Topic-urilor Kafka
14 OreAcest training condus de un instructor, live în Moldova (online sau la fața locului), este destinat administratorilor de sisteme de la nivel începător până la intermediar, care doresc să învețe cum să gestioneze eficient topic-urile Kafka pentru un streaming și procesare eficientă a datelor.
La finalul acestui training, participanții vor putea:
- Înțelege noțiunile de bază și arhitectura topic-urilor Kafka.
- Crea, configura și gestionează topic-uri Kafka.
- Monitoriza topic-urile Kafka în ceea ce privește sănătatea, performanța și disponibilitatea.
- Implementa măsuri de securitate pentru topic-urile Kafka.
SMACK Stack pentru Știința Datelor
14 OreAcest training condus de un instructor, live în Moldova (online sau la fața locului) este destinat oamenilor de știință ai datelor care doresc să folosească stiva SMACK pentru a construi platforme de procesare a datelor pentru soluții de big data.
La finalul acestui training, participanții vor putea:
- Să implementeze o arhitectură de pipeline de date pentru procesarea big data.
- Să dezvolte o infrastructură de cluster cu Apache Mesos și Docker.
- Să analizeze date cu Spark și Scala.
- Să gestioneze date nestructurate cu Apache Cassandra.
Microservicii cu Spring Cloud și Kafka
21 OreAcest training condus de un instructor, live în Moldova (online sau la fața locului), este destinat dezvoltatorilor care doresc să transforme arhitectura tradițională într-o arhitectură bazată pe microservicii, foarte concurentă, folosind Spring Cloud, Kafka, Docker, Kubernetes și Redis.
La finalul acestui training, participanții vor putea:
- Să configureze mediul de dezvoltare necesar pentru construirea microserviciilor.
- Să proiecteze și să implementeze un ecosistem de microservicii foarte concurent folosind Spring Cloud, Kafka, Redis, Docker și Kubernetes.
- Să transforme serviciile monolitice și SOA în arhitecturi bazate pe microservicii.
- Să adopte o abordare DevOps pentru dezvoltarea, testarea și lansarea software-ului.
- Să asigure concurența ridicată între microservicii în producție.
- Să monitorizeze microserviciile și să implementeze strategii de recuperare.
- Să efectueze optimizări de performanță.
- Să învețe despre tendințele viitoare în arhitectura microserviciilor.