Apache Spark – budowanie systemów do przetwarzania danych w czasie rzeczywistym

Dlaczego warto

Jeśli chcesz poznać platformę programistyczną do obliczeń rozproszonych i tworzyć aplikacje, które przetwarzają duże ilości danych , to szkolenie jest dla Ciebie. Dzięki niemu zdobędziesz wiedzę i zrozumienie architektury Apache Spark oraz nauczysz się budować skalowalne aplikacje. Będziesz w stanie tworzyć przepływy danych przy użyciu Apache Spark oraz poznasz nowoczesne koncepcje, które rozwiązują problemy ze świata Big Data, takie jak Delta Lake.

Czego się nauczysz

• Tworzyć aplikacje z użyciem Apache Spark.
• Tworzyć aplikacje przetwarzające duże ilości danych.
• Poznawać i rozumieć architekturę platformy Apache Spark.
• Poznawać i rozumieć środowisko programowania.
• Poznawać i rozumieć zasady budowania skalowalnych aplikacji.
• Poznawać i rozumieć budowę przepływów danych przy użyciu Apache Spark.
• Poznawać i rozumieć nowoczesne koncepcje adresujące wiele znanych problemów ze świata Big Data (Delta Lake).

Certyfikat i egzamin

Po ukończeniu szkolenia otrzymasz imienny certyfikat potwierdzający zdobyte umiejętności w zakresie tworzenia aplikacji do przetwarzania danych za pomocą Apache Spark. Nie ma egzaminu końcowego – wystarczy aktywne uczestnictwo w zajęciach.

Dla kogo

Ten kurs jest przeznaczony dla wszystkich osób biorących udział w procesie tworzenia oprogramowania oraz członków zespołów projektowych. Kurs jest także dla deweloperów, którzy znają podstawy programowania i chcą poznać podstawy języka Scala, które są niezbędne do efektywnego pisania aplikacji wykorzystujących Apache Spark.

Zakres szkolenia

• Apache Spark – architektura
• Rys historyczny
  • Architektura rozwiązania
  • Uruchamianie aplikacji
  • Monitoring
  • Rozwiązywanie problemów / debugowanie
• Przetwarzanie danych z Apache Spark
  • RDDs, DataFrames i DataSets
  • Spark SQL
  • Joins
  • Formaty plików
  • Agregacja danych
• Przygotowanie środowiska deweloperskiego do pracy z Apache Spark (część przeprowadzona przy użyciu języka Scala)
• Praca z IntelliJ
  • Wprowadzenie do SBT
  • Przekazywanie parametrów / konfiguracji za pomocą zewnętrznych bibliotek
  • Testowanie kodu
• Delta Lake – format ułatwiający przetwarzanie danych
  • Wprowadzenie do koncepcji
  • Zapisywanie / odczytywanie danych przy użyciu formatu Delta
  • Najważniejsze funkcje oraz różnice w porównaniu z klasycznymi plikami (Parquet / ORC)