Schița de curs
Recapitulare a Conceptelor de Bază din Apache Airflow
- Concepte de bază: DAG-uri, sarcini și operatori
- Arhitectura și componentele Airflow
- Recapitulare a cazurilor de utilizare și fluxurilor de lucru comune
Optimizarea Performanței Fluxurilor de Lucru
- Identificarea punctelor de blocaj în conductele Airflow
- Tehnici de optimizare la nivel de sarcină
- Utilizarea reîncercărilor sarcinilor, paralelismului și concurenței
Gestionarea Dependențelor Complexe
- Definirea dependențelor dinamice în fluxurile de lucru
- Gestionarea fluxurilor de lucru condiționale și de ramificare
- Utilizarea eficientă a grupurilor de sarcini și sub-DAG-uri
Funcționalități Avansate în Apache Airflow
- Crearea de operatori și cârlige personalizate
- Implementarea senzorilor pentru declanșatori externi
- Integrarea serviciilor și plugin-urilor terțe
Scalarea Implementărilor Apache Airflow
- Abordări de scalare orizontală și verticală
- Utilizarea Celery Executors pentru execuția distribuită
- Cele mai bune practici pentru scalarea în medii cloud
Monitorizarea și Depanarea Fluxurilor de Lucru
- Configurarea logării și alerțelor pentru monitorizarea fluxurilor de lucru
- Utilizarea UI și CLI Airflow pentru depanare
- Identificarea și rezolvarea problemelor comune în implementările Airflow
Securizarea Apache Airflow
- Autentificare și controlul accesului în Airflow
- Protejarea datelor sensibile și a configurațiilor de mediu
- Implementarea urmelor de audit pentru fluxurile de lucru
Cazuri de Utilizare la Nivel de Întreprindere și Cele Mai Bune Practici
- Proiectarea de fluxuri de lucru robuste pentru medii de producție
- Utilizarea Airflow pentru inginerie de date și conducte ETL
- Explorarea studiilor de caz din lumea reală despre implementări scalabile ale Airflow
Rezumat și Pași Următori
Cerințe
- Cunoștințe de bază despre Apache Airflow
- Familiaritate cu programarea în Python și conceptele de orchestră a fluxurilor de lucru
- Experiență în gestionarea și implementarea aplicațiilor în medii Linux
Publicul țintă
- Ingineri de date
- Profesioniști DevOps
- Dezvoltatori de software
Mărturii (1)
Instrucționarul a adaptat instruirea la nivelul participanților și a răspuns la toate întrebările. El a fost foarte comunicativ, iar interacțiunea cu el a fost ușoară. Am apreciat foarte mult formatul instruirii, care includea multe exerciții practice. În ansamblu, a fost o sesiune foarte implicantă și bine organizată.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Curs - Apache Airflow: Building and Managing Data Pipelines
Tradus de catre o masina
