EU remote
Big Data Engineer
About this role
Big Data Engineer Connectis_ Daily tasks: - Dokumentacja techniczna, plany testów oraz deliverables projektowe, dostarczane etapami zgodnie z harmonogramem uzgodnionym w ramach realizacji zlecenia. - Projektowanie i wdrożenie rozwiązań do zbierania, transformacji i przetwarzania dużych zbiorów danych, z wykorzystaniem Spark, Java, Hive i SQL. - Job'y przetwarzania i mapowania danych zrealizowane z użyciem Spark/Scala, dostarczone zgodnie z wymaganiami biznesowymi.
- Analiza danych pochodzących z wielu źródeł oraz opracowanie specyfikacji technicznych na podstawie uzyskanych wyników. - Rekomendacje dotyczące strategii architektury Big Data, przygotowane na podstawie ustaleń z interesariuszami projektu. - Uindustrializowanie procesów przetwarzania danych pod kątem niezawodności, odporności i wydajności. - Zapewnienie wsparcia aplikacji oraz rozwiązywanie zgłaszanych problemów produkcyjnych.
Musts: Spark, SQL, Hive, TDD, Java 🔍 WYMAGANE KOMPETENCJE: Minimium 4-5 lat doświadczenia w rozwoju oprogramowania. Praktyczne stosowanie TDD (Test-Driven Development) w ramach realizacji zleceń. Wykształcenie wyższe kierunkowe (informatyka / inżynieria oprogramowania). Ekspercka znajomość Spark, Java, Hive oraz SQL . Biegła znajomość języka angielskiego. Mile widziane: Doświadczenie z DevOps, CI/CD oraz architekturą mikroserwisów i API .
Znajomość narzędzi Big Data oraz systemu kontroli wersji Git . Znajomość Pythona , w tym w kontekście Airflow . Wspólnie z naszym Partnerem, jednym z europejskich liderów w branży bankowej, poszukujemy doświadczonego/ej specjalisty/ki do realizacji projektów jako Big Data Engineer . Projekt realizowany jest w obszarze bankowości B2B i B2C , w domenie C-Profit odpowiedzialnej za konsolidację i udostępnianie zespołom sprzedaży transakcji na produktach finansowych banku inwestycyjnego, w ramach modernizacji platformy danych opartej na technologiach Big Data oraz równoległej migracji do Azure .
✨ OFERUJEMY: Nowy sposób na aplikowanie z AI Rekruterem (AIR) – w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu. Realizacja usług na rzecz jednego z europejskich liderów w branży bankowej, w środowisku o globalnej obecności i wysokich standardach operacyjnych. Otwartość na okazjonalne spotkania projektowe w Warszawie, ustalane w zależności od potrzeb projektu i uzgadniane między stronami.
Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem. Współpracę w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables. Realizacja usług w obszarze modernizacji platformy danych oraz migracji do Azure na rzecz Partnera z branży bankowej. Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą.
5 000 PLN za polecenie znajomych do naszych projektów Elastyczną formę współpracy B2B. Szybki i zdalny proces. Dziękujemy za wszystkie zgłoszenia. Pragniemy poinformować, że skontaktujemy się z wybranymi osobami. 12987/MG
Source listing: nofluffjobs_main