Apache Hadoop – system zorientowany na dane

Cel szkolenia

Wprowadzenie do przetwarzania danych na platformie Apache Hadoop – Cloudera z wykorzystaniem frameworków Apache Hive, Impala, Sqoop i bazy danych HBase

Korzyści

Uczestnicy szkolenia poznają i zrozumieją:

• Praktyczne podejście do przetwarzania danych na platformie Apache Hadoop
• Architekturę platformy Apache Hadoop
• Środowisko pracy
• Pracę z danymi
• Przypadki użycia w świecie rzeczywistym

Słuchacze będą potrafili :

• Tworzyć zadania przetwarzania danych
• Tworzyć systemy zorientowane na dane

Zakres szkolenia

• Big Data w inżynierii danych
• Rys historyczny – podstawowe koncepcje
  • Apache Hadoop – omówienie teoretyczne
  • Koncepcje architektoniczne wykorzystywane w rozwiązaniach on-premise
  • Kluczowi gracze oraz technologie
•  Apache Hive
  • Definicje, operacje i agregacja danych
  • Wydajność i optymalizacja
• Apache Impala
  • Kluczowe elementy
  • Język zapytań
  • Wydajność
  • Integracja z innymi frameworkami
• Apache HBase
  • NoSQL
  • Definicja schematu
  • Typy danych
  • Operacje i skany
  • Filtry i liczniki
  • Projektowanie kluczy
  • Klienci frameworków
• Apache Sqoop
  • Importowanie i eksportowanie danych
  • Integracja z ekosystemem Hadoop
• Projekt / ćwiczenia
  • Budowanie całościowego rozwiązania w celu integracji powyższych platform

Wymagania wstępne

Przydatne, ale niekonieczne jest doświadczenie w testowaniu oprogramowania.

Adresaci

Wszystkie osoby zaangażowane w przetwarzanie danych w bazach danych, hurtowniach danych lub BI. Inżynierowie, którzy codziennie pracują z różnymi źródłami danych i różnymi formatami danych.