Curs de pregatire Atelier de migrare Databricks: de la proceduri stocate la Lakehouse (intensiv, 5 zile)

Introducere, obiective și strategie de migrare

• Obiectivele cursului, alinierea profilului participanților și criteriile de succes
• Abordări de migrare la nivel înalt și considerente de risc
• Configurarea workspace-urilor, a repository-urilor și a seturilor de date de laborator

Ziua 1 — Fundamentele migrării și arhitectura

• Concepte Lakehouse, prezentare generală Delta Lake și arhitectura Databricks
• Diferențele dintre SMP și MPP și implicațiile pentru migrare
• Designul Medallion (Bronze→Silver→Gold) și prezentarea Unity Catalog

Laborator Ziua 1 — Transpunerea unei proceduri stocate

• Migrarea practică a unei proceduri stocate de probă într-un notebook
• Maparea tabelelor temporare și a cursoarelor la transformări DataFrame
• Validarea și compararea cu rezultatul original

Ziua 2 — Delta Lake avansat și încărcare incrementală

• Tranzacții ACID, jurnale de commit, versionare și time travel
• Auto Loader, modele MERGE INTO, upserts și evoluția schemei
• OPTIMIZE, VACUUM, Z-ORDER, partiționare și optimizarea stocării

Laborator Ziua 2 — Ingerare incrementală și optimizare

• Implementarea ingerării cu Auto Loader și a workflow-urilor MERGE
• Aplicarea OPTIMIZE, Z-ORDER și VACUUM; validarea rezultatelor
• Măsurarea îmbunătățirilor de performanță la citire/scriere

Ziua 3 — SQL în Databricks, performanță și depanare

• Funcții SQL analitice: funcții fereastră, funcții de ordin superior, gestionarea JSON/array
• Citirea Spark UI, DAG-uri, shuffles, stage-uri, task-uri și diagnosticarea blocajelor
• Modele de optimizare a interogărilor: broadcast joins, hints, caching și reducerea spill-ului

Laborator Ziua 3 — Refactorizare SQL și optimizarea performanței

• Refactorizează un proces SQL greoi în Spark SQL optimizat
• Folosește urmele din Spark UI pentru a identifica și remedia problemele de skew și shuffle
• Benchmark înainte/după și documentează pașii de optimizare

Ziua 4 — PySpark tactic: înlocuirea logicii procedurale

• Modelul de execuție Spark: driver, executors, lazy evaluation și strategii de partiționare
• Transformarea buclelor și a cursoarelor în operații vectorizate cu DataFrame
• Modularizare, UDF-uri/pandas UDF-uri, widget-uri și biblioteci reutilizabile

Laborator Ziua 4 — Refactorizarea scripturilor procedurale

• Refactorizează un script ETL procedural în notebook-uri PySpark modulare
• Introdu parametrizarea, testele de tip unitate și funcțiile reutilizabile
• Revizuirea codului și aplicarea listei de bune practici

Ziua 5 — Orchestrare, pipeline end-to-end și bune practici

• Databricks Workflows: proiectarea joburilor, dependențele dintre task-uri, trigger-e și gestionarea erorilor
• Proiectarea pipeline-urilor Medallion incrementale cu reguli de calitate și validarea schemei
• Integrarea cu Git (GitHub/Azure DevOps), CI și strategii de testare pentru logica PySpark

Laborator Ziua 5 — Construiește un pipeline end-to-end complet

• Asamblează pipeline-ul Bronze→Silver→Gold orchestrat cu Workflows
• Implementează logging, audit, retry-uri și validări automatizate
• Rulează pipeline-ul complet, validează rezultatele și pregătește notele de deployment

Operaționalizare, guvernanță și pregătirea pentru producție

• Bune practici de guvernanță, lineage și control al accesului în Unity Catalog
• Costuri, dimensionarea clusterelor, autoscaling și modele de concurență a joburilor
• Liste de verificare pentru deployment, strategii de rollback și crearea runbook-urilor

Recapitulare finală, transfer de cunoștințe și pașii următori

• Prezentările participanților despre munca de migrare și lecțiile învățate
• Analiza gap-urilor, activitățile de follow-up recomandate și predarea materialelor de training
• Referințe, căi suplimentare de învățare și opțiuni de suport