Sii Polska
SII UKRAINE
SII SWEDEN
Sii Polska
SII UKRAINE
SII SWEDEN
Sii Polska
SII UKRAINE
SII SWEDEN
Czy zdarza Ci się gubić w gąszczu rozproszonych skryptów, a awaria jednego procesu paraliżuje całą analitykę w firmie? Ręczne monitorowanie i naprawianie błędów w potokach danych (data pipelines) to przeszłość, która kosztuje Cię mnóstwo czasu i energii.
Dzięki temu szkoleniu opanujesz Apache Airflow – wiodące narzędzie Open Source do zarządzania przepływem pracy. Nauczysz się pisać czytelny kod w Pythonie, który zamieni chaos w stabilne, w pełni zautomatyzowane procesy. Zyskasz pełną kontrolę nad harmonogramem zadań, natychmiast wykryjesz wąskie gardła i podniesiesz swoją efektywność, stając się kluczowym specjalistą w każdym zespole inżynierii danych.
Tworzenia, harmonogramowania i monitorowania złożonych przepływów pracy (DAG-ów) za pomocą kodu w Pythonie.
Efektywnego korzystania z operatorów, sensorów i hooków do integracji z różnymi systemami i bazami danych.
Zarządzania zależnościami między zadaniami oraz obsługi błędów i mechanizmów powtórzeń (retries).
Pracy z architekturą Apache Airflow, w tym konfiguracji Schedulerów, Executorów i bazy metadanych.
Optymalizacji wydajności procesów i debugowania błędów w środowisku produkcyjnym.
Wykorzystania zaawansowanych funkcji, takich jak TaskFlow API, XComs oraz dynamiczne generowanie zadań.
Po ukończeniu szkolenia otrzymasz imienny certyfikat potwierdzający zdobyte umiejętności w zakresie przetwarzania danych na platformie Apache Airflow . Nie ma egzaminu końcowego – wystarczy aktywne uczestnictwo w zajęciach.
Ten kurs jest dla osób, które…
pracują jako Data Engineers, Data Scientists lub Analitycy Danych i chcą zautomatyzować swoje codzienne potoki przetwarzania danych,
są programistami Pythona i chcą wejść w świat Big Data oraz inżynierii danych,
pełnią role DevOps Engineerów lub Administratorów Systemów i szukają nowoczesnego narzędzia do orkiestracji zadań systemowych,
znają podstawy języka Python i chcą rozwinąć swoje kompetencje o jedno z najbardziej pożądanych narzędzi na rynku pracy.
Wprowadzenie do Apache Airflow
Czym jest orkiestracja i dlaczego cron to za mało?
Kluczowe pojęcia: DAG, Task, Task Instance, Execution Date.
Przegląd interfejsu graficznego (UI).
Architektura i środowisko
Komponenty systemu i ich role.
Rodzaje Executorów (Sequential, Local, Celery, Kubernetes).
Konfiguracja i uruchomienie lokalnego środowiska deweloperskiego.
Tworzenie pierwszych potoków danych (DAGs)
Struktura pliku DAG w Pythonie.
Podstawowe operatory (BashOperator, PythonOperator).
Definiowanie zależności między zadaniami (>> i <<).
Zarządzanie danymi i stanem
Przekazywanie danych między zadaniami (XComs).
Używanie szablonów Jinja i makr.
Zarządzanie zmiennymi i bezpiecznymi połączeniami (Connections & Secrets).
Zaawansowana orkiestracja
Sensory – oczekiwanie na zdarzenia, pliki lub bazy danych.
Branching – warunkowe wykonywanie ścieżek w DAG-u.
Task Grouping – organizacja kodu i widoku w UI.
Dynamiczne generowanie zadań i mechanizm Task Mapping.
Utrzymanie, monitorowanie i dobre praktyki
Obsługa błędów, powiadomienia (Slack/Email) i mechanizmy Retries.
Zasady projektowania idempotentnych i atomowych zadań.
Identyfikacja i rozwiązywanie najczęstszych problemów wydajnościowych.
ITIL®, PRINCE2® są zarejestrowanymi znakami handlowymi należącymi do firmy AXELOS Limited i używanymi za jej zgodą. Wszelkie prawa zastrzeżone. AgilePM® jest zastrzeżonym znakiem towarowym Agile Business Consortium Limited. Wszelkie prawa zastrzeżone. Kursy AgilePM® są oferowane przez Sii, spółkę stowarzyszoną z Eraneos Iberia S.L.U., akredytowaną organizację szkoleniową The APM Group Ltd. Lean IT® Association jest zastrzeżonym znakiem towarowym Lean IT Association LLC. Wszelkie prawa zastrzeżone. SIAM™ jest zastrzeżonym znakiem towarowym EXIN Holding B.V. Wszystkie ceny podane na stronie to ceny netto. Należy doliczyć podatek VAT 23%.
Wir aktualisieren unsere deutsche Website. Wenn Sie die Sprache wechseln, wird Ihnen die vorherige Version angezeigt.
