Curs de pregatire Kafka pentru Administratori

Elemente esențiale ale administrării Kafka

• Rolul Kafka într-o platformă modernă de date și responsabilitățile tipice de producție
• Concepte de bază pentru operatori: brokeri, subiecte, partiții, offset-uri, grupuri de consumatori
• Bazele replicării: lideri și urmăritori, replici sincronizate, compromisuri de disponibilitate
• Aspecte operaționale importante ale Kafka și terminologia comună utilizată în manualele de operare

Modul KRaft și proiectarea clusterelor

• Bazele KRaft: controlori, quorum de metadate, alegeri și de ce contează din punct de vedere operațional
• Planificarea implementării: dimensionare pentru debit, partiții, retenție și creștere
• Rolurile și aranjamentele nodurilor: controlori combinați vs dedicati, considerații privind domeniile de defecțiune
• Laborator: inspectați metadatele KRaft, validați sănătatea quorum-ului și interpretați jurnalele controlorilor

Instalare, configurare și operațiuni zilnice

• Metode de instalare (pachete, tarball, containere) și ce să standardizați în mediile de întreprindere
• Configurația de bază a brokerului care afectează fiabilitatea: ascultători, replicare, directoare de jurnal, retenție
• Operațiuni sigure ale serviciului: ordinea de pornire, închidere grațioasă și verificări de validare
• Laborator: implementați un cluster multi-nod, verificați înregistrarea brokerului și confirmați producerea și consumul de bază

Gestionarea subiectelor, partițiilor și plasării datelor

• Ciclul de viață al subiectelor folosind CLI-ul Kafka: creare, descriere, actualizare configurări, ștergere
• Alegerea partițiilor și factorilor de replicare pentru sarcini reale, inclusiv anti-pattern-uri comune
• Reatribuiri și echilibrare: când să mutați partiții și cum să verificați progresul în siguranță
• Laborator: creați subiecte, declanșați o reatribuire de partiții, simulați o defecțiune a brokerului și confirmați recuperarea

Securizarea Kafka pentru producție

• TLS pentru traficul client și inter-broker: certificate, lanțuri de încredere și pași de validare
• Autentificare cu SASL: selectarea mecanismelor comune și evitarea configurării greșite
• Autorizare cu ACL: modele de privilegii minime pentru administratori, producători și consumatori
• Laborator: activați TLS și SASL, validați conectivitatea clientului și aplicați ACL pentru rolurile aplicației

Observabilitate, fiabilitate și depanare

• Elemente esențiale de monitorizare: sănătatea controlorului, partiții sub-replicate, latența cererilor, saturația discului și rețelei
• Jurnale și metrici: citirea jurnalelor brokerului și expunerea metricilor prin JMX exporter către stive de observabilitate comune
• Manuale de operații: reporniri în cascadă, modificări sigure de configurare, gestionarea problemelor de disc plin și ISR
• Laborator: construiți un set minim de alerte, diagnosticați un cluster degradat și restabiliți replicarea sănătoasă

Actualizări și pregătire pentru recuperarea în caz de dezastru

• Planificarea actualizărilor pentru Kafka: verificări de compatibilitate, stagiarizare și abordare de revenire
• Backup-uri și așteptări de recuperare: ce poate fi salvat, ce nu poate și bazele recuperării configurației
• Prezentare generală a replicării între clustere și când să folosiți MirrorMaker 2 pentru DR și migrări
• Încheiere: checklist operațional, artefacte de predare și pașii următori pentru implementarea în producție