Schița de curs
Elemente esențiale ale administrării Kafka
- Rolul Kafka într-o platformă modernă de date și responsabilitățile tipice de producție
- Concepte de bază pentru operatori: brokeri, subiecte, partiții, offset-uri, grupuri de consumatori
- Bazele replicării: lideri și urmăritori, replici sincronizate, compromisuri de disponibilitate
- Aspecte operaționale importante ale Kafka și terminologia comună utilizată în manualele de operare
Modul KRaft și proiectarea clusterelor
- Bazele KRaft: controlori, quorum de metadate, alegeri și de ce contează din punct de vedere operațional
- Planificarea implementării: dimensionare pentru debit, partiții, retenție și creștere
- Rolurile și aranjamentele nodurilor: controlori combinați vs dedicati, considerații privind domeniile de defecțiune
- Laborator: inspectați metadatele KRaft, validați sănătatea quorum-ului și interpretați jurnalele controlorilor
Instalare, configurare și operațiuni zilnice
- Metode de instalare (pachete, tarball, containere) și ce să standardizați în mediile de întreprindere
- Configurația de bază a brokerului care afectează fiabilitatea: ascultători, replicare, directoare de jurnal, retenție
- Operațiuni sigure ale serviciului: ordinea de pornire, închidere grațioasă și verificări de validare
- Laborator: implementați un cluster multi-nod, verificați înregistrarea brokerului și confirmați producerea și consumul de bază
Gestionarea subiectelor, partițiilor și plasării datelor
- Ciclul de viață al subiectelor folosind CLI-ul Kafka: creare, descriere, actualizare configurări, ștergere
- Alegerea partițiilor și factorilor de replicare pentru sarcini reale, inclusiv anti-pattern-uri comune
- Reatribuiri și echilibrare: când să mutați partiții și cum să verificați progresul în siguranță
- Laborator: creați subiecte, declanșați o reatribuire de partiții, simulați o defecțiune a brokerului și confirmați recuperarea
Securizarea Kafka pentru producție
- TLS pentru traficul client și inter-broker: certificate, lanțuri de încredere și pași de validare
- Autentificare cu SASL: selectarea mecanismelor comune și evitarea configurării greșite
- Autorizare cu ACL: modele de privilegii minime pentru administratori, producători și consumatori
- Laborator: activați TLS și SASL, validați conectivitatea clientului și aplicați ACL pentru rolurile aplicației
Observabilitate, fiabilitate și depanare
- Elemente esențiale de monitorizare: sănătatea controlorului, partiții sub-replicate, latența cererilor, saturația discului și rețelei
- Jurnale și metrici: citirea jurnalelor brokerului și expunerea metricilor prin JMX exporter către stive de observabilitate comune
- Manuale de operații: reporniri în cascadă, modificări sigure de configurare, gestionarea problemelor de disc plin și ISR
- Laborator: construiți un set minim de alerte, diagnosticați un cluster degradat și restabiliți replicarea sănătoasă
Actualizări și pregătire pentru recuperarea în caz de dezastru
- Planificarea actualizărilor pentru Kafka: verificări de compatibilitate, stagiarizare și abordare de revenire
- Backup-uri și așteptări de recuperare: ce poate fi salvat, ce nu poate și bazele recuperării configurației
- Prezentare generală a replicării între clustere și când să folosiți MirrorMaker 2 pentru DR și migrări
- Încheiere: checklist operațional, artefacte de predare și pașii următori pentru implementarea în producție
Cerințe
- Înțelegerea administrării de bază a Linux (utilizatori, servicii, fișiere, permisiuni)
- Experiență cu conceptele de rețea TCP/IP (DNS, porturi, firewalls, echilibrare de sarcină)
- Experiență de bază în scripting (Bash, PowerShell sau similar) pentru sarcini operaționale de rutină
Publicul țintă
- Administratori Kafka și ingineri de platformă responsabili de operarea clusterelor Kafka
- Ingineri de fiabilitate a site-ului și ingineri DevOps care sprijină platformele de streaming
- Echipe de infrastructură și operații care implementează noi clustere Kafka bazate pe KRaft sau migrează de la ZooKeeper
Mărturii (5)
Posibilitatea de a efectua exerciții independente în mediul de instruire.
Tomasz - PKO Zycie Towarzystwo Ubezpieczen S.A.
Curs - Kafka for Administrators
Tradus de catre o masina
Direct la punct, ritm potrivit (deși se presupune cunoașterea bazelor bash)
Krzysztof - Agora SA
Curs - Kafka for Administrators
Tradus de catre o masina
Formatorul acceptă întrebări în orice moment al sesiunii, chiar dacă subiectul a fost abordat cu câțiva zile în urmă.
GOODLUCK MASHIMBA - Tanzania Revenue Authority
Curs - Kafka for Administrators
Tradus de catre o masina
Bune abilități de prezentare
Md Maruf Hossain - ATOS PGS sp. z o.o.
Curs - Kafka for Administrators
Tradus de catre o masina
Abilități excelente, exemple, exerciții foarte bune
Marek Konieczny - G2A.COM Limited
Curs - Kafka for Administrators
Tradus de catre o masina
