About this role

Senior Data Engineer DS STREAM Daily tasks: - rozwój oprogramowania do przetwarzania dużych wolumenów danych, - integrację i pobieranie danych z interfejsów API, - projektowanie oraz rozwój pipeline'ów danych w Databricks z wykorzystaniem PySpark i SQL, - tworzenie i utrzymywanie pipeline'ów opartych na Spark Structured Streaming, - projektowanie oraz zarządzanie obiektami w Unity Catalog zgodnie z założeniami Medallion Architecture.

Musts: Python, Docker, SQL, Databricks, PySpark, CI/CD Rozwijamy nasz zespół! 🚀 DS STREAM rośnie w siłę i poszukuje Senior Data Engineerów . Szukamy osób, które posiadają przynajmniej część poniższych kompetencji: minimum 5 lat komercyjnego doświadczenia w obszarze Data Engineering , ze szczególnym uwzględnieniem budowy i rozwoju wielkoskalowych pipeline'ów danych, praktyczne doświadczenie w pracy z zaawansowanymi rozwiązaniami chmurowymi Microsoft Azure oraz Databricks , znajomość środowiska Google Cloud Platform (GCP) oraz narzędzi takich jak Airflow, Pub/Sub, BigQuery i Vertex AI , doświadczenie w pracy z Spark Structured Streaming , bardzo dobra znajomość Pythona oraz SQL , doświadczenie w budowaniu i utrzymywaniu pipeline'ów z wykorzystaniem GitHub lub podobnych narzędzi.

Mile widziane: doświadczenie w tworzeniu integracji API klasy enterprise z wykorzystaniem FastAPI lub podobnych frameworków, doświadczenie w prowadzeniu zespołu, mentoringu lub wspieraniu rozwoju innych inżynierów. [zdalnie] Senior Data Engineer 🚀 Rozwijamy nasz zespół AI Data Engineering w DS STREAM! Poszukujemy Senior Data Engineera , który dołączy do naszego zespołu i będzie rozwijał nowoczesne rozwiązania oparte o chmurę oraz platformy Big Data.

📍 Praca w 100% zdalna na terenie Polski (z możliwością korzystania z biura w Warszawie). O projekcie Dołączysz do projektu rozwijającego dojrzały, wysokodostępny Data Hub zbudowany w oparciu o Azure Databricks . Środowisko wykorzystuje m.in. Unity Catalog , Spark Structured Streaming oraz Asset Bundles , zapewniając wysoką wydajność, bezpieczeństwo i skuteczne zarządzanie danymi. Architektura rozwiązania oparta jest na modelu Medallion Architecture , który stanowi skalowalny fundament do integracji, przetwarzania i udostępniania nowych źródeł danych w istniejącym ekosystemie.

Oferujemy pracę w 100% zdalną z możliwością korzystania z biura w Warszawie, elastyczne godziny pracy oraz udział w wydarzeniach integracyjnych, dostęp do certyfikacji Azure, Google Cloud Platform (GCP) oraz Databricks , możliwość rozwijania własnych pomysłów w ramach naszego wewnętrznego inkubatora projektów , współpracę z zespołem ponad 50 doświadczonych konsultantów Data , specjalizujących się w Data Warehouse i Big Data , oraz wiele innych benefitów.

Source listing: nofluffjobs_main