About this role

Data Engineer (Azure) Connectis_ Daily tasks: - Dostarczanie rekomendacji dotyczących optymalizacji wydajności, przechowywania oraz przetwarzania danych, na podstawie ustaleń z interesariuszami projektu. - Projektowanie i wdrażanie skalowalnych Data Hubów w środowisku Azure oraz Azure Databricks, zapewniających efektywną integrację danych z wielu źródeł. - Zaprojektowane i wdrożone modele danych zgodne z architekturą Data Vault 2.0, umożliwiające dalszy rozwój i standaryzację platformy danych.

- Rozwiązania do walidacji danych, wykrywania anomalii i monitorowania jakości danych, dostarczone wraz z mechanizmami raportowania. - Dokumentacja modeli danych, potoków przetwarzania oraz decyzji architektonicznych, przygotowana zgodnie ze standardami projektu. - Opracowane i utrzymane procesy przetwarzania danych wspierające analitykę oraz raportowanie w czasie rzeczywistym. - Tworzenie oraz optymalizacja potoków ETL/ELT w Spark i PySpark.

Musts: Azure Databricks, ETL, PySpark, Microsoft Azure, Python, SQL, Azure Mile widziane: Doświadczenie w projektowaniu i utrzymaniu rozwiązań CI/CD . Znajomość modelowania danych w oparciu o Data Vault 2.0 . Znajomość Terraform, Docker oraz Kubernetes . Doświadczenie z DBT (Data Build Tool) . Wspólnie z naszym Partnerem, międzynarodową organizacją z branży ubezpieczeniowej realizującą strategiczne inicjatywy transformacji danych w wielu krajach, poszukujemy doświadczonego/ej specjalisty/ki do realizacji projektów jako Data Engineer .

Projekt obejmuje budowę i rozwój platformy DataHub opartej o architekturę medalionową (Bronze/Silver/Gold) oraz model Data Vault 2.0, wspierającej integrację i przetwarzanie danych na potrzeby wielu obszarów biznesowych. ✨ OFERUJEMY: Nowy sposób na aplikowanie z AI Rekruterem (AIR) – w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu.

🌍 Gotowość do spotkań koordynacyjnych w Warszawie (centrum miasta) – częstotliwość i termin do uzgodnienia; miejsce i czas świadczenia usług do uzgodnienia. Realizacja usług w ramach strategicznego programu budowy platform danych dla międzynarodowej organizacji z branży ubezpieczeniowej. Współpraca realizowana w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables. Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.

Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą. Realizacja usług na rzecz Partnera w obszarze Data Engineering, Data Platform oraz DevOps. 5 000 PLN za polecenie znajomych do naszych projektów. Elastyczna forma współpracy B2B. Szybki i zdalny proces. Dziękujemy za wszystkie zgłoszenia. Pragniemy poinformować, że skontaktujemy się z wybranymi osobami.

Source listing: nofluffjobs_main