Mulțumim pentru trimiterea solicitării! Un membru al echipei noastre vă va contacta în curând.
Mulțumim pentru trimiterea rezervării! Un membru al echipei noastre vă va contacta în curând.
Schița de curs
Recapitularea Bazelor Apache Airflow
- Concepte de bază: DAG-uri, task-uri și operatori
- Arhitectura și componentele Airflow
- Recapitulare a cazurilor de utilizare comune și a fluxurilor de lucru
Optimizarea Performanței Fluxurilor de Lucru
- Identificarea punctelor de blocaj în conductele Airflow
- Tehnici de optimizare la nivel de task
- Utilizarea reîncercărilor de task, a paralelismului și a concurenței
Gestionarea Dependențelor Complexe
- Definirea dependențelor dinamice în fluxurile de lucru
- Gestionarea fluxurilor de lucru condiționale și ramificate
- Utilizarea eficientă a grupurilor de task-uri și sub-DAG-uri
Funcții Avansate în Apache Airflow
- Crearea de operatori și hook-uri personalizate
- Implementarea senzorilor pentru declanșatori externe
- Integrarea serviciilor și plugin-urilor terțe
Scalarea Implementărilor Apache Airflow
- Abordări de scalare orizontală și verticală
- Utilizarea Celery Executors pentru execuția distribuită
- Cele mai bune practici pentru scalarea în medii cloud
Monitorizarea și Depanarea Fluxurilor de Lucru
- Configurarea logging-ului și a alertelor pentru monitorizarea fluxurilor de lucru
- Utilizarea UI-ului și CLI-ului Airflow pentru depanare
- Identificarea și rezolvarea problemelor comune în implementările Airflow
Securizarea Apache Airflow
- Autentificare și controlul accesului în Airflow
- Protejarea datelor sensibile și a configurațiilor de mediu
- Implementarea de urme de audit pentru fluxurile de lucru
Cazuri de Utilizare Enterprise și Cele Mai Bune Practici
- Proiectarea de fluxuri de lucru robuste pentru medii de producție
- Utilizarea Airflow pentru inginerie de date și conducte ETL
- Explorarea studiilor de caz din lumea reală a implementărilor scalabile Airflow
Rezumat și Pași Următori
Cerințe
- Cunoștințe de bază despre Apache Airflow
- Familiaritate cu programarea în Python și concepte de orchestrări a fluxurilor de lucru
- Experiență în gestionarea și implementarea aplicațiilor în medii Linux
Publicul țintă
- Ingineri de date
- Profesioniști DevOps
- Dezvoltatori de software
21 Ore
Mărturii (1)
Instrucționarul a adaptat instruirea la nivelul participanților și a răspuns la toate întrebările. El a fost foarte comunicativ, iar interacțiunea cu el a fost ușoară. Am apreciat foarte mult formatul instruirii, care includea multe exerciții practice. În ansamblu, a fost o sesiune foarte implicantă și bine organizată.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Curs - Apache Airflow: Building and Managing Data Pipelines
Tradus de catre o masina
