Technologies & tools
Nice to have
Apache Airflow / Cloud Composer
Terraform
Data Built Tool
Apache Spark
Databricks
Snowflake
Microsoft Fabric
Do you want to grow in cloud technologies and work on real data? Join our Data & Analytics team, where we build and develop GCP-based solutions. Work with experts, grow in Data Engineering, Big Data or Machine Learning and have a real impact on projects.
Your tasks
- Designing, implementing and maintaining scalable data pipelines based on Google Cloud Platform
- Working with BigQuery as the main data warehouse: modeling data, optimizing queries and costs, taking care of performance and reliability of solutions
- Integrating data from various sources (files, databases, APIs, events) and their processing and transformation
- Orchestrating data workflows using Apache Airflow / Cloud Composer
- Creating and maintaining CI/CD solutions for data pipelines and infrastructure
- Managing cloud infrastructure according to Infrastructure as Code (Terraform) approach
- Ensure data quality, pipeline monitoring and rapid incident response
- Collaborate with analytics, BI and product teams to deliver stable and well-documented data
- Participate in the development of data architecture and jointly define good data engineering practices
Requirements
- Min. 4 years of experience as a Data Engineer or in a similar position working with data in a production environment
- Very good knowledge of Google Cloud Platform, in particular: BigQuery (data modeling, query optimization) and Cloud Storage
- Ability to design, build and maintain data pipelines (batch and/or streaming)
- Very good knowledge of SQL and Python in the context of data processing and orchestration
- Experience in the area of workflow orchestration (Apache Airflow / Cloud Composer)
- Practice in CI/CD implementation for data solutions, e.g. GitHub Actions, GitLab CI, Cloud Build
- Familiarity with the Infrastructure as Code approach, with an emphasis on Terraform
- Previous work with large volumes of data, with a focus on solution performance and reliability
- Fluent communication skills in English
- Residence in Poland required and fluency in the Polish language
Nice to have
- Hands-on experience with streaming data processing (e.g. Dataflow / Apache Beam, Pub/Sub)
- Proficiency in Apache Spark / PySpark when working with large volumes of data
- Competence in data transformation and modeling using tools such as dbt
- Ability to work with a variety of data platforms (e.g. Databricks, Snowflake, MS Fabric)
- Orientation in tools and best practices in the areas of Data Governance, Data Lineage and Data Quality
Job no. 260506-J4JCO
Sii ensures that all hiring decisions are made solely on the basis of qualifications and competence. We are committed to equal and fair treatment of all, regardless of legally protected characteristics. At Sii, we promote a diverse and inclusive work environment, in full compliance with applicable anti-discrimination laws.
Technologie i narzędzia
Mile widziane
Apache Airflow / Cloud Composer
Terraform
Narzędzie do budowania danych
Apache Spark
Databricks
Snowflake
Microsoft Fabric
Chcesz rozwijać się w technologiach chmurowych i pracować na realnych danych? Dołącz do naszego zespołu Data & Analytics, gdzie budujemy i rozwijamy rozwiązania oparte na GCP. Pracuj z ekspertami, rozwijaj się w kierunku Data Engineeringu, Big Data lub Machine Learningu i miej realny wpływ na projekty.
Twoje zadania
- Projektowanie, implementacja i utrzymanie skalowalnych pipeline’ów danych w oparciu o Google Cloud Platform
- Praca z BigQuery jako główną hurtownią danych: modelowanie danych, optymalizacja zapytań i kosztów, dbanie o wydajność oraz niezawodność rozwiązań
- Integracja danych z różnych źródeł (pliki, bazy danych, API, eventy) oraz ich przetwarzanie i transformacja
- Orkiestracja workflow danych przy użyciu Apache Airflow / Cloud Composer
- Tworzenie i utrzymanie rozwiązań CI/CD dla pipeline’ów danych oraz infrastruktury
- Zarządzanie infrastrukturą w chmurze zgodnie z podejściem Infrastructure as Code (Terraform)
- Zapewnienie jakości danych, monitoringu pipeline’ów oraz szybkiego reagowania na incydenty
- Współpraca z zespołami analitycznymi, BI i produktowymi w celu dostarczania stabilnych i dobrze udokumentowanych danych
- Udział w rozwoju architektury danych oraz wspólne definiowanie dobrych praktyk data engineeringowych
Wymagania
- Min. 4 lata doświadczenia w roli Data Engineer lub na podobnym stanowisku przy pracy z danymi w środowisku produkcyjnym
- Bardzo dobra znajomość Google Cloud Platform, w szczególności: BigQuery (modelowanie danych, optymalizacja zapytań) oraz Cloud Storage
- Umiejętność projektowania, budowy i utrzymania pipeline’ów danych (batch i/lub streaming)
- Bardzo dobra znajomość SQL oraz Pythona w kontekście przetwarzania i orkiestracji danych
- Doświadczenie w obszarze orkiestracji workflow (Apache Airflow / Cloud Composer)
- Praktyka w implementacji CI/CD dla rozwiązań data, np. GitHub Actions, GitLab CI, Cloud Build
- Znajomość podejścia Infrastructure as Code, ze wskazaniem na Terraform
- Wcześniejsza praca z dużymi wolumenami danych, z uwzględnieniem wydajności i niezawodności rozwiązań
- Swobodna komunikacja w języku angielskim
- Wymagane przebywanie na terenie Polski oraz płynna znajomość języka polskiego
Mile widziane
- Praktyczne doświadczenie w przetwarzaniu danych streamingowych (np. Dataflow / Apache Beam, Pub/Sub)
- Biegłość w Apache Spark / PySpark przy pracy z dużymi wolumenami danych
- Kompetencje w zakresie transformacji i modelowania danych z wykorzystaniem narzędzi takich jak dbt
- Umiejętność pracy z różnorodnymi platformami danych (np. Databricks, Snowflake, MS Fabric)
- Orientacja w narzędziach oraz dobrych praktykach z obszaru Data Governance, Data Lineage i Data Quality
Nr oferty 260506-J4JCO
Sii ensures that all hiring decisions are made solely on the basis of qualifications and competence. We are committed to equal and fair treatment of all, regardless of legally protected characteristics. At Sii, we promote a diverse and inclusive work environment, in full compliance with applicable anti-discrimination laws.
