Schița de curs
Introducere în Apache Airflow
- Ce este orchestrația fluxurilor de lucru
- Funcționalități cheie și beneficii ale Apache Airflow
- Îmbunătățiri în Airflow 2.x și prezentarea ecosistemului
Arhitectură și concepte de bază
- Procesele scheduler, web server și worker
- DAG-uri, task-uri și operatori
- Executoare și backend-uri (Local, Celery, Kubernetes)
Instalare și configurare
- Instalarea Airflow în medii locale și cloud
- Configurarea Airflow cu diferite executoare
- Configurarea bazelor de date de metadate și a conexiunilor
Navigarea în interfața Airflow UI și CLI
- Explorarea interfeței web Airflow
- Monitorizarea rulărilor de DAG-uri, a task-urilor și a log-urilor
- Utilizarea Airflow CLI pentru administrare
Crearea și gestionarea DAG-urilor
- Crearea DAG-urilor cu TaskFlow API
- Utilizarea operatorilor, senzorilor și hook-urilor
- Gestionarea dependențelor și a intervalelor de programare
Integrarea Airflow cu servicii de date și cloud
- Conectarea la baze de date, API-uri și cozi de mesaje
- Rularea pipeline-urilor ETL cu Airflow
- Integrări cloud: operatori AWS, GCP, Azure
Monitorizare și observabilitate
- Log-uri de task și monitorizare în timp real
- Metrici cu Prometheus și Grafana
- Alertare și notificări prin email sau Slack
Securizarea Apache Airflow
- Control al accesului bazat pe roluri (RBAC)
- Autentificare cu LDAP, OAuth și SSO
- Gestionarea secretelor cu Vault și stocuri de secrete cloud
Scalarea Apache Airflow
- Paralelism, concurență și cozi de task-uri
- Utilizarea CeleryExecutor și KubernetesExecutor
- Implementarea Airflow pe Kubernetes cu Helm
Bune practici pentru producție
- Versionare și CI/CD pentru DAG-uri
- Testarea și depanarea DAG-urilor
- Menținerea fiabilității și performanței la scară
Depanare și optimizare
- Depanarea DAG-urilor și task-urilor eșuate
- Optimizarea performanței DAG-urilor
- Capcane comune și cum să le eviți
Rezumat și pașii următori
Cerințe
- Experiență cu programarea în Python
- Familiaritate cu concepte de data engineering sau DevOps
- Înțelegerea ETL-ului sau a orchestrației fluxurilor de lucru
Public țintă
- Data scientists
- Ingineri de date
- Ingineri DevOps și de infrastructură
- Dezvoltatori software
Mărturii (7)
Instrucționarul a adaptat instruirea la nivelul participanților și a răspuns la toate întrebările. El a fost foarte comunicativ, iar interacțiunea cu el a fost ușoară. Am apreciat foarte mult formatul instruirii, care includea multe exerciții practice. În ansamblu, a fost o sesiune foarte implicantă și bine organizată.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Curs - Apache Airflow: Building and Managing Data Pipelines
Tradus de catre o masina
Formarea a fost exact ce trebuia. Teorie foarte utilă și exerciții.
Vladimir - PUBLIC COURSE
Curs - Apache Airflow
Tradus de catre o masina
Formarea a fost excelentă în toate aspectele. Aspecte teoretice utile și exerciții.
Vladimir - PUBLIC COURSE
Curs - Apache Airflow
Tradus de catre o masina
Formarea a fost exact la punct în toate aspectele. Aspecte teoretice utile și exerciții.
Vladimir - PUBLIC COURSE
Curs - Apache Airflow
Tradus de catre o masina
Formarea a fost foarte bună sub toate aspectele. Aspecte teoretice utile și exerciții.
Vladimir - PUBLIC COURSE
Curs - Apache Airflow
Tradus de catre o masina
Formarea a fost excelentă în toate aspectele. Aspecte teoretice utile și exerciții.
Vladimir - PUBLIC COURSE
Curs - Apache Airflow
Tradus de catre o masina
Formarea a fost perfectă în toate aspectele. Aspecte teoretice utile și exerciții.
Vladimir - PUBLIC COURSE
Curs - Apache Airflow
Tradus de catre o masina
