Інженер з даних

Посада: Інженер даних

Місце роботи: Повністю віддалено

Зарплата: $36k - $60k

Огляд ролі
Ця посада вимагає уваги до деталей інженера даних, який може самостійно проектувати та впроваджувати конвеєри даних, а також виступати як надійний технічний партнер у роботі з клієнтами та на зустрічах зацікавлених сторін. Ви будете працювати безпосередньо з PySpark, Airflow, Python та SQL, керуючи повним циклом міграції даних та модернізацією платформи в Azure та AWS. Окрім технічної реалізації, ви будете сприяти плануванню спринтів, пріоритетизації беклогу та безперервній інтеграції/розгортанню інфраструктури даних. Це роль старшого рівня для індивідуального виконавця з прямою видимістю у сферах інженерії, продукту та доставки клієнтам.

Ключові обов’язки

• Керувати розробкою та проектуванням корпоративних конвеєрів даних та архітектур міграції даних у хмарі.
• Створювати масштабовані, підтримувані ETL/ELT конвеєри з використанням Apache Airflow, PySpark та сучасних сервісів даних.
• Писати ефективний, модульний та добре протестований код на Python, базуючись на принципах чистої архітектури та продуктивності.
• Розробляти та оптимізувати складні SQL-запити для різних реляційних та аналітичних баз даних.
• Вносити вклад у стандарти моделювання даних, управління даними та продуктивність конвеєрів.
• Відповідати за впровадження CI/CD конвеєрів для надійного розгортання робочих процесів та інфраструктури даних (наприклад, GitHub Actions, Azure DevOps, Jenkins).
• Впроваджувати модульне тестування, інтеграційне тестування та моніторинг на всіх етапах життєвого циклу конвеєра даних.
• Активно брати участь у Agile-зустрічах: плануванні спринтів, щоденних стендапах, ретроспективах та формуванні беклогу.
• Безпосередньо співпрацювати з клієнтами, зацікавленими сторонами та міжфункціональними командами для перетворення бізнес-потреб у масштабовані технічні рішення.
• Виступати як технічний авторитет у команді — керувати архітектурними рішеннями та сприяти внутрішнім найкращим практикам і документації.

Обов’язкові кваліфікації

• Більше 4 років практичного досвіду у сфері інженерії даних з підтвердженим успіхом у реалізації складних рішень у виробничих середовищах.
• Експертні навички програмування на Python, включаючи глибоке розуміння ООП, оптимізації продуктивності та стратегій тестування.
• Поглиблені навички SQL: складні з’єднання, CTE, віконні функції, індексування та оптимізація запитів.
• Міцний досвід роботи з Apache Airflow, PySpark та розподіленою обробкою даних.
• Вміння проектувати та впроваджувати рішення для обробки даних на Microsoft Azure, Amazon Web Services (AWS) або обох платформах.
• Досвід впровадження CI/CD для конвеєрів даних та інфраструктури (IaC та розгортання робочих процесів).
• Практичний досвід роботи з Agile-методологіями (Scrum, Kanban) та інструментами співпраці (Jira, Confluence, Git тощо).
• Комфортне спілкування безпосередньо з клієнтами, власниками продуктів та нефункціональними зацікавленими сторонами.
• Досвід роботи у регульованих галузях, таких як охорона здоров’я або фінансові послуги, з розумінням практик конфіденційності та відповідності (HIPAA, SOC 2 тощо).

Бажані кваліфікації

• Знайомство з Snowflake, Databricks або іншими сучасними платформами для зберігання даних.
• Досвід роботи з MLOps-конвеєрами та інструментами, такими як MLflow, PyTorch та хмарними моделями машинного навчання.
• Знайомство з платформами ETL, такими як Apache NiFi, Talend або Informatica.
• Вміння працювати з DBT (Data Build Tool) для модульних SQL-трансформацій.
• Сильні комунікаційні навички з доведеним досвідом наставництва, підтримки обміну знаннями та документування інженерних рішень.
• Досвід роботи з візуалізацією даних та підтримкою аналітичних команд через добре структуровані дата-маркети або API.
  
  

Якщо зацікавлені, додайте своє оновлене резюме.