Inżynier Danych

Stanowisko: Data Engineer

Lokalizacja: Całkowicie zdalnie

Wynagrodzenie: 36 000 USD - 60 000 USD

Przegląd roli
Ta pozycja wymaga szczegółowo skupionego inżyniera danych, który potrafi samodzielnie projektować i wdrażać pipeline'y danych, a także pełnić rolę zaufanego partnera technicznego w kontaktach z klientami i podczas spotkań z interesariuszami. Będziesz pracować bezpośrednio z PySpark, Airflow, Pythonem i SQL, kierując całością migracji danych i modernizacji platform w Azure i AWS. Oprócz działań technicznych, będziesz uczestniczyć w planowaniu sprintów, priorytetyzacji backlogu oraz ciągłej integracji i wdrażaniu infrastruktury danych. To rola na poziomie starszego specjalisty, z bezpośrednią widocznością w działach inżynierii, produktu i realizacji dla klienta.

Kluczowe obowiązki

• Projektowanie i rozwijanie pipeline'ów danych na poziomie przedsiębiorstwa oraz architektur migracji danych w chmurze.
• Budowa skalowalnych, łatwych w utrzymaniu pipeline'ów ETL/ELT z użyciem Apache Airflow, PySpark i nowoczesnych usług danych.
• Pisanie wydajnego, modularnego i dobrze przetestowanego kodu Python, opartego na zasadach czystej architektury i wydajności.
• Tworzenie i optymalizacja złożonych zapytań SQL na różnych relacyjnych i analitycznych bazach danych.
• Wkład w standardy modelowania danych, zarządzania danymi i wydajności pipeline'ów.
• Odpowiedzialność za wdrożenie pipeline'ów CI/CD, umożliwiających niezawodne wdrażanie przepływów danych i infrastruktury (np. GitHub Actions, Azure DevOps, Jenkins).
• Włączenie testów jednostkowych, testów integracyjnych i monitorowania na wszystkich etapach cyklu życia pipeline'u danych.
• Aktywny udział w ceremoniach Agile: planowanie sprintów, codzienne stand-upy, retrospektywy i grooming backlogu.
• Bezpośrednia współpraca z klientami, interesariuszami i zespołami interdyscyplinarnymi w celu przekładania potrzeb biznesowych na skalowalne rozwiązania techniczne.
• Pełnienie roli autorytetu technicznego w zespole — kierowanie decyzjami architektonicznymi i wkład w najlepsze praktyki oraz dokumentację wewnętrzną.

Wymagane kwalifikacje

• Ponad 4 lata praktycznego doświadczenia w inżynierii danych, z udokumentowanymi sukcesami w dostarczaniu złożonych rozwiązań danych w środowiskach produkcyjnych.
• Zaawansowane umiejętności programowania w Pythonie, w tym głęboka znajomość OOP, optymalizacji wydajności i strategii testowania.
• Zaawansowane umiejętności SQL: złożone joiny, CTE, funkcje okienkowe, indeksowanie i optymalizacja zapytań.
• Silne doświadczenie z Apache Airflow, PySpark i rozproszonym przetwarzaniem danych.
• Znajomość architektury i wdrażania rozwiązań danych na platformach Microsoft Azure, Amazon Web Services (AWS) lub obu.
• Udokumentowane doświadczenie w CI/CD dla pipeline'ów danych i infrastruktury (IaC i wdrożenia workflow).
• Praktyczna znajomość frameworków Agile (Scrum, Kanban) i narzędzi do współpracy (Jira, Confluence, Git itp.).
• Komfortowa komunikacja bezpośrednio z klientami, właścicielami produktów i interesariuszami nietechnicznymi.
• Doświadczenie w branżach regulowanych, takich jak opieka zdrowotna czy usługi finansowe, ze znajomością najlepszych praktyk w zakresie prywatności i zgodności (HIPAA, SOC 2 itp.).

Preferowane kwalifikacje

• Zaznajomienie z Snowflake, Databricks lub innymi nowoczesnymi platformami hurtowni danych.
• Doświadczenie z pipeline'ami MLOps i narzędziami takimi jak MLflow, PyTorch oraz wdrożeniami modeli ML w chmurze.
• Znajomość platform ETL takich jak Apache NiFi, Talend czy Informatica.
• Znajomość DBT (Data Build Tool) do modularnych transformacji SQL.
• Silne umiejętności komunikacyjne z udokumentowaną zdolnością do mentoringu, wsparcia dzielenia się wiedzą i dokumentowania decyzji inżynierskich.
• Doświadczenie w wizualizacji danych i wspieraniu zespołów analitycznych poprzez dobrze zorganizowane data mart lub API.
  
  

Jeśli jesteś zainteresowany, dołącz zaktualizowane CV.