Schița de curs
Introducere în Apache Iceberg
- Prezentare generală a Apache Iceberg
- Revizuirea conceptelor de bază
Scufundare în arhitectura Iceberg
- Analiză în profunzime a formatului de tabele Iceberg
- Prezentare detaliată a arhitecturii, inclusiv metadatele și aspectul fișierelor
- Aspecte interne ale schemei și evoluția partițiilor
Instalare și configurare avansată
- Configurarea Iceberg pentru o performanță optimă în diferite medii
- Integrarea cu diverse motoare de procesare a datelor
- Configurare avansată: securitate, criptare și controale de acces
- Configurarea Iceberg într-un mediu distribuit
Operațiuni avansate și întreținere
- Gestionarea tabelelor Iceberg pe scară largă
- Implementarea și gestionarea modificărilor complexe de schemă
- Gestionarea evoluției partițiilor și a partițiilor ascunse
- Operațiuni CRUD avansate cu modificări de schemă și partiții
Tehnici de optimizare a interogărilor
- Tehnici de reducere a latenței interogărilor
- Reducerea partițiilor și reducerea fișierelor
- Strategii de stocare în cache a metadatelor și de optimizare
- Implementarea și testarea tehnicilor de optimizare a interogărilor
Reglarea performanțelor pentru seturi mari de date
- Optimizarea performanței pentru seturi de date de mari dimensiuni
- Utilizarea funcțiilor încorporate în Iceberg pentru reglarea performanței
- Studii de caz privind reglarea performanței în scenarii din lumea reală
- Reglarea performanței pentru seturi de date de mari dimensiuni
Migrarea și integrarea avansată a datelor
- Migrarea structurilor de date complexe de la alte sisteme
- Integrarea Iceberg cu fluxuri de date în timp real
- Migrarea seturilor de date complexe și integrarea fluxurilor de date în timp real
Fiabilitate și consistență
- Asigurarea consistenței și integrității datelor în medii distribuite
- Implementarea și gestionarea garanțiilor tranzacționale
- Gestionarea eșecurilor și a mecanismelor de recuperare
- Implementarea caracteristicilor de fiabilitate și consistență
Caracteristici avansate și personalizare
- Implementări de cataloage personalizate
- Extinderea Iceberg cu caracteristici personalizate
- Implementarea catalogului personalizat și extinderea funcționalităților Iceberg
Garantarea și conformitatea datelor
- Implementarea politicilor de guvernanță a datelor
- Conformitatea cu reglementările privind datele
- Gestionarea traseelor de audit și a filierei datelor
- Implementarea funcțiilor de guvernanță și conformitate
Rezumat și etape următoare
Cerințe
- Cunoașterea conceptelor de bază, a operațiunilor de bază și a gestionării tabelelor Iceberg
Audiență
- Inginerii de date
- Arhitecți de date
- Analiști de date
- Dezvoltatorii de software
Mărturii (3)
Formatorul a avut o bună înțelegere a conceptelor
Josheel - Verizon Connect
Curs - Amazon Redshift
Tradus de catre o masina
funcțiile analitice
khusboo dassani - Tech Northwest Skillnet
Curs - SQL Advanced
Tradus de catre o masina
cum antrenează instructorul cunoștințele sale în domeniul pe care îl învață
john ernesto ii fernandez - Philippine AXA Life Insurance Corporation
Curs - Data Vault: Building a Scalable Data Warehouse
Tradus de catre o masina