Dlaczego warto
Czy zdarza Ci się gubić w gąszczu rozproszonych skryptów, a awaria jednego procesu paraliżuje całą analitykę w firmie? Ręczne monitorowanie i naprawianie błędów w potokach danych (data pipelines) to przeszłość, która kosztuje Cię mnóstwo czasu i energii.
Dzięki temu szkoleniu opanujesz Apache Airflow – wiodące narzędzie Open Source do zarządzania przepływem pracy. Nauczysz się pisać czytelny kod w Pythonie, który zamieni chaos w stabilne, w pełni zautomatyzowane procesy. Zyskasz pełną kontrolę nad harmonogramem zadań, natychmiast wykryjesz wąskie gardła i podniesiesz swoją efektywność, stając się kluczowym specjalistą w każdym zespole inżynierii danych.
Czego się nauczysz
-
Tworzenia, harmonogramowania i monitorowania złożonych przepływów pracy (DAG-ów) za pomocą kodu w Pythonie.
-
Efektywnego korzystania z operatorów, sensorów i hooków do integracji z różnymi systemami i bazami danych.
-
Zarządzania zależnościami między zadaniami oraz obsługi błędów i mechanizmów powtórzeń (retries).
-
Pracy z architekturą Apache Airflow, w tym konfiguracji Schedulerów, Executorów i bazy metadanych.
-
Optymalizacji wydajności procesów i debugowania błędów w środowisku produkcyjnym.
-
Wykorzystania zaawansowanych funkcji, takich jak TaskFlow API, XComs oraz dynamiczne generowanie zadań.
Po ukończeniu szkolenia otrzymasz imienny certyfikat potwierdzający zdobyte umiejętności w zakresie przetwarzania danych na platformie Apache Airflow . Nie ma egzaminu końcowego – wystarczy aktywne uczestnictwo w zajęciach.
Dla kogo
Ten kurs jest dla osób, które…
-
pracują jako Data Engineers, Data Scientists lub Analitycy Danych i chcą zautomatyzować swoje codzienne potoki przetwarzania danych,
-
są programistami Pythona i chcą wejść w świat Big Data oraz inżynierii danych,
-
pełnią role DevOps Engineerów lub Administratorów Systemów i szukają nowoczesnego narzędzia do orkiestracji zadań systemowych,
-
znają podstawy języka Python i chcą rozwinąć swoje kompetencje o jedno z najbardziej pożądanych narzędzi na rynku pracy.
Zakres szkolenia
-
Wprowadzenie do Apache Airflow
-
Czym jest orkiestracja i dlaczego cron to za mało?
-
Kluczowe pojęcia: DAG, Task, Task Instance, Execution Date.
-
Przegląd interfejsu graficznego (UI).
-
-
Architektura i środowisko
-
Komponenty systemu i ich role.
-
Rodzaje Executorów (Sequential, Local, Celery, Kubernetes).
-
Konfiguracja i uruchomienie lokalnego środowiska deweloperskiego.
-
-
Tworzenie pierwszych potoków danych (DAGs)
-
Struktura pliku DAG w Pythonie.
-
Podstawowe operatory (BashOperator, PythonOperator).
-
Definiowanie zależności między zadaniami (
>>i<<).
-
-
Zarządzanie danymi i stanem
-
Przekazywanie danych między zadaniami (XComs).
-
Używanie szablonów Jinja i makr.
-
Zarządzanie zmiennymi i bezpiecznymi połączeniami (Connections & Secrets).
-
-
Zaawansowana orkiestracja
-
Sensory – oczekiwanie na zdarzenia, pliki lub bazy danych.
-
Branching – warunkowe wykonywanie ścieżek w DAG-u.
-
Task Grouping – organizacja kodu i widoku w UI.
-
Dynamiczne generowanie zadań i mechanizm Task Mapping.
-
-
Utrzymanie, monitorowanie i dobre praktyki
-
Obsługa błędów, powiadomienia (Slack/Email) i mechanizmy Retries.
-
Zasady projektowania idempotentnych i atomowych zadań.
-
Identyfikacja i rozwiązywanie najczęstszych problemów wydajnościowych.
-