Dlaczego warto
Jeśli chcesz poznać platformę programistyczną do obliczeń rozproszonych i tworzyć aplikacje, które przetwarzają duże ilości danych , to szkolenie jest dla Ciebie. Dzięki niemu zdobędziesz wiedzę i zrozumienie architektury Apache Spark oraz nauczysz się budować skalowalne aplikacje. Będziesz w stanie tworzyć przepływy danych przy użyciu Apache Spark oraz poznasz nowoczesne koncepcje, które rozwiązują problemy ze świata Big Data, takie jak Delta Lake.
Czego się nauczysz
- Tworzyć aplikacje z użyciem Apache Spark.
- Tworzyć aplikacje przetwarzające duże ilości danych.
- Poznawać i rozumieć architekturę platformy Apache Spark.
- Poznawać i rozumieć środowisko programowania.
- Poznawać i rozumieć zasady budowania skalowalnych aplikacji.
- Poznawać i rozumieć budowę przepływów danych przy użyciu Apache Spark.
- Poznawać i rozumieć nowoczesne koncepcje adresujące wiele znanych problemów ze świata Big Data (Delta Lake).
Certyfikat i egzamin
Po ukończeniu szkolenia otrzymasz imienny certyfikat potwierdzający zdobyte umiejętności w zakresie tworzenia aplikacji do przetwarzania danych za pomocą Apache Spark. Nie ma egzaminu końcowego – wystarczy aktywne uczestnictwo w zajęciach.
Dla kogo
Ten kurs jest przeznaczony dla wszystkich osób biorących udział w procesie tworzenia oprogramowania oraz członków zespołów projektowych. Kurs jest także dla deweloperów, którzy znają podstawy programowania i chcą poznać podstawy języka Scala, które są niezbędne do efektywnego pisania aplikacji wykorzystujących Apache Spark.
Zakres szkolenia
- Apache Spark – architektura
- Rys historyczny
- Architektura rozwiązania
- Uruchamianie aplikacji
- Monitoring
- Rozwiązywanie problemów / debugowanie
- Przetwarzanie danych z Apache Spark
- RDDs, DataFrames i DataSets
- Spark SQL
- Joins
- Formaty plików
- Agregacja danych
- Przygotowanie środowiska deweloperskiego do pracy z Apache Spark (część przeprowadzona przy użyciu języka Scala)
- Praca z IntelliJ
- Wprowadzenie do SBT
- Przekazywanie parametrów / konfiguracji za pomocą zewnętrznych bibliotek
- Testowanie kodu
- Delta Lake – format ułatwiający przetwarzanie danych
- Wprowadzenie do koncepcji
- Zapisywanie / odczytywanie danych przy użyciu formatu Delta
- Najważniejsze funkcje oraz różnice w porównaniu z klasycznymi plikami (Parquet / ORC)