Apache Spark – budowanie systemów do przetwarzania danych w czasie rzeczywistym

Cel szkolenia

Wprowadzenie do Apache Spark jako efektywnego narzędzia służącego do przetwarzania danych.

Korzyści

Uczestnicy szkolenia poznają i zrozumieją:

• Architekturę platformy Apache Spark
• Środowisko programowania
• Zasady budowania skalowalnych aplikacji
• Budowę przepływów danych przy użyciu Apache Spark
• Nowoczesne koncepcje adresujące wiele znanych problemów ze świata Big Data (Delta Lake)

Słuchacze będą potrafili:

• Tworzyć aplikacje z użyciem Apache Spark
• Tworzyć aplikacje przetwarzające duże ilości danych

Zakres szkolenia

• Apache Spark – architektura
• Rys historyczny
  • Architektura rozwiązania
  • Uruchamianie aplikacji
  • Monitoring
  • Rozwiązywanie problemów / debugowanie
• Przetwarzanie danych z Apache Spark
  • RDDs, DataFrames i DataSets
  • Spark SQL
  • Joins
  • Formaty plików
  • Agregacja danych
• Przygotowanie środowiska deweloperskiego do pracy z Apache Spark (część przeprowadzona przy użyciu języka Scala)
• Praca z IntelliJ
  • Wprowadzenie do SBT
  • Przekazywanie parametrów / konfiguracji za pomocą zewnętrznych bibliotek
  • Testowanie kodu
• Delta Lake – format ułatwiający przetwarzanie danych
  • Wprowadzenie do koncepcji
  • Zapisywanie / odczytywanie danych przy użyciu formatu Delta
  • Najważniejsze funkcje oraz różnice w porównaniu z klasycznymi plikami (Parquet / ORC)

Adresaci

Wszystkie osoby biorące udział w procesie tworzenia oprogramowania, członkowie zespołów projektowych.

Developerzy znający podstawy programowania, chcący poznać podstawy języka Scala niezbędne do efektywnego pisania aplikacji wykorzystujących Apache Spark.