About this role

Data Engineer Azure Connectis_ Daily tasks: - Tworzenie i optymalizacja notebooków PySpark oraz Spark SQL w Databricks do ekstrakcji, transformacji i przetwarzania danych oraz generowania Shared File Formats (SFF). - Przygotowywanie dokumentacji technicznej, w tym dokumentów projektowych, prototypów i specyfikacji na podstawie wymagań biznesowych i systemowych. - Współpraca z Data Modelerami przy mapowaniu danych source-to-staging, analizie schematów oraz tworzeniu definicji DDL dla tabel i widoków.

- Wsparcie działań Data Governance, w tym zarządzanie data lineage, katalogowaniem danych oraz współpraca z Information Stewardami. - Monitorowanie i optymalizacja wydajności procesów SQL i Spark, identyfikacja wąskich gardeł oraz tuning jobów przetwarzania danych. - Konfiguracja i utrzymanie tabel Ingestion Framework (IF) wspierających automatyczne ładowanie danych do warstw staging i DLC. - Aktywny udział w analizie wymagań, estymacjach oraz ceremoniach Agile (Sprint Planning, Backlog Refinement, Retrospectives).

- Udział w design review i code review procesów ETL/ELT oraz wdrażanie dobrych praktyk CI/CD w obszarze Data Engineering. - Udział w migracjach danych z systemów legacy do architektury chmurowej Azure Data Lake. Musts: Azure, PySpark, ETL, Data engineering, Azure Data Lake, Data Lake, T-SQL, Azure Databricks, Azure Data Factory, Azure Data Lake Storage, Python Minimum 6-letnie doświadczenie komercyjne na stanowisku Data Engineer lub pokrewne.

Praktyczne doświadczenie w projektowaniu, budowie i utrzymaniu procesów ETL/ELT oraz data pipelines w środowisku Azure . Umiejętność analizowania wymagań biznesowych oraz tworzenia i utrzymywania dokumentacji technicznej ( BRD, SRD, DDL ). Doświadczenie w pracy z architekturą Data Lake / Lakehouse , w tym projektowaniem warstw Staging, Core i Curated. Zaawansowana znajomość SQL (T-SQL) oraz doświadczenie w optymalizacji zapytań i modelowaniu danych.

Bardzo dobra znajomość Azure Databricks, Azure Data Factory oraz usług ekosystemu Azure Data Platform . Doświadczenie w pracy z Azure Data Lake Storage (ADLS) oraz rozwiązaniami opartymi o Lakehouse. Bardzo dobra znajomość PySpark oraz Python w kontekście przetwarzania i transformacji danych. Otwartość na pracę w trybie hybrydowym z biura we Wrocławiu (3 dni zdalnie, 2 dni z biura). Biegła znajomość języka angielskiego C1.

Wspólnie z naszym Partnerem, międzynarodową instytucją finansującą globalnych producentów maszyn budowlanych i samochodowych, poszukujemy osoby na stanowisko Data Engineer (Azure). Projekt dotyczy budowy i rozwoju globalnej platformy danych klasy enterprise (Global Data Mart), wspierającej raportowanie, analitykę oraz procesy finansowe dla regionów i jednostek biznesowych na całym świecie. ✨ OFERUJEMY: 🤖 Nowoczesny proces rekrutacji z AI Rekruterem (AIR) - podczas aplikacji możesz odbyć rozmowę z wirtualnym rekruterem 24/7, bez czekania na telefon, z natychmiastowym feedbackiem i możliwością powtórzenia rozmowy (liczy się ostatnia wersja).

Finalną decyzję zawsze podejmuje Rekruter Connectis. Uczestnictwo w spotkaniach integracyjnych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem. Wsparcie dedykowanej osoby kontaktowej Connectis, która zawsze jest dostępna, by pomóc Ci w sprawach związanych z projektem. Rozwój kariery i długofalową współpracę w firmie o ugruntowanej pozycji na rynku. 5000 PLN za polecenie znajomych do naszych projektów.

Dostęp do najnowszych technologii i narzędzi pracy. Szybki i zdalny proces. Dziękujemy za wszystkie zgłoszenia. Pragniemy poinformować, że skontaktujemy się z wybranymi osobami.

Source listing: nofluffjobs_main