Инженер данных

Название должности: Data Engineer

Местоположение: Полностью удаленно

Заработная плата: $36k - $60k

Обзор роли
Эта позиция требует внимательного к деталям инженера данных, который сможет самостоятельно проектировать и реализовывать конвейеры данных, а также выступать в роли надежного технического партнера в взаимодействиях с клиентами и на встречах заинтересованных сторон. Вы будете работать непосредственно с PySpark, Airflow, Python и SQL, руководствуясь задачами по миграции данных и модернизации платформы в рамках Azure и AWS. Помимо технического выполнения задач, вы будете участвовать в планировании спринтов, приоритизации бэклога и непрерывной интеграции/развертывании инфраструктуры данных. Это роль старшего специалиста с прямой видимостью в инженерных, продуктовых и клиентских функциях.

Ключевые обязанности

• Руководство проектированием и разработкой корпоративных конвейеров данных и архитектур миграции данных в облаке.
• Создание масштабируемых, поддерживаемых ETL/ELT конвейеров с использованием Apache Airflow, PySpark и современных сервисов данных.
• Написание эффективного, модульного и хорошо протестированного кода на Python, основанного на принципах чистой архитектуры и производительности.
• Разработка и оптимизация сложных SQL-запросов для различных реляционных и аналитических баз данных.
• Вклад в стандарты моделирования данных, управление данными и производительность конвейеров.
• Ответственность за внедрение CI/CD конвейеров для надежного развертывания рабочих процессов данных и инфраструктуры (например, GitHub Actions, Azure DevOps, Jenkins).
• Внедрение модульного тестирования, интеграционного тестирования и мониторинга на всех этапах жизненного цикла конвейера данных.
• Активное участие в Agile-мероприятиях: планирование спринтов, ежедневные стендапы, ретроспективы и управление бэклогом.
• Непосредственное взаимодействие с клиентами, заинтересованными сторонами и межфункциональными командами для преобразования бизнес-требований в масштабируемые технические решения.
• Выступать в роли технического руководителя внутри команды — принимать архитектурные решения и участвовать в разработке внутренних стандартов и документации.

Требуемая квалификация

• Более 4 лет практического опыта в области инженерии данных с подтвержденными успехами в реализации сложных решений в производственной среде.
• Экспертные навыки программирования на Python, включая глубокое понимание ООП, оптимизации производительности и стратегий тестирования.
• Продвинутые навыки SQL: сложные соединения, CTE, оконные функции, индексирование и оптимизация запросов.
• Обширный опыт работы с Apache Airflow, PySpark и распределенной обработкой данных.
• Умение проектировать и реализовывать решения на базе Microsoft Azure, Amazon Web Services (AWS) или обоих.
• Доказанный опыт внедрения CI/CD для конвейеров данных и инфраструктуры (IaC и развертывание рабочих процессов).
• Практический опыт работы с Agile-методологиями (Scrum, Kanban) и инструментами совместной работы (Jira, Confluence, Git и др.).
• Уверенное взаимодействие с клиентами, владельцами продуктов и нефункциональными заинтересованными сторонами.
• Опыт работы в регулируемых отраслях, таких как здравоохранение или финансовые услуги, с пониманием лучших практик по конфиденциальности и соблюдению требований (HIPAA, SOC 2 и др.).

Желательная квалификация

• Знакомство с Snowflake, Databricks или другими современными платформами хранилищ данных.
• Опыт работы с MLOps-пайплайнами и инструментами, такими как MLflow, PyTorch и облачные решения для доставки моделей машинного обучения.
• Знакомство с платформами ETL, такими как Apache NiFi, Talend или Informatica.
• Умение работать с DBT (Data Build Tool) для модульных SQL-преобразований.
• Отличные коммуникативные навыки с подтвержденной способностью наставлять, делиться знаниями и документировать инженерные решения.
• Опыт работы с визуализацией данных и поддержкой аналитических команд через хорошо структурированные дата-маркеты или API.
  
  

Если заинтересованы, прикрепите ваше обновленное резюме.