Data QA Engineer
We are looking for a detail-oriented engineer with strong SQL and Data management experience to work with our analytics and data science back-end. This role will include verifying data integrity, deduplication, aggregated metrics. Building QA and validation processes for datasets and algorithms. The ideal candidate will have the ability to take ownership of daily data ingests from client and help building validation around it. Collaborate with the data science and ops teams.
Requirements
Strong SQL, MySQL or PostgreSQL
Experience writing scripts in Python
Should be comfortable working with big datasets
Experience validating data in text or CSV data formats
Attention to details and self organization
Nice to have
Experience with AWS S3
Background in science or engineering
Experience with a scheduler such as AirFlow or Jenkins
Big Data technologies: Redshift, Redshift Spectrum, Spark, Hadoop
Workload: Half-time or Full-time
Актуальні фриланс-проєкти в категорії Парсинг даних
Збір посилань на джерела з оголошеннями оренди житлаЗбір посилань на джерела з оголошеннями про оренду житла Потрібно зібрати базу посилань на групи, канали, форуми та майданчики, де публікуються оголошення про оренду житла у великих містах Європи та США. Мета: знайти джерела, де регулярно з'являються оголошення про… Парсинг даних, Продажі та генерація лідів ∙ 6 годин 35 хвилин тому ∙ 14 ставок |
Налаштувати модуль "Автоматична обробка прайс-листів. v.9.5".Магазин на OcStore 2.3. встановлено модуль "Автоматична обробка прайс-листів. v.9.5". Все налаштовано автором модуля, але зараз є моменти по налаштуванням, які не можу розібрати та допетрати логіку роботи модуля. Наприклад проблема з двома мовами в картці товару, тягне постійно,… Інтернет-магазини та електронна комерція, Парсинг даних ∙ 1 день 2 години тому ∙ 21 ставка |
Прайсинг товарів автозапчастин від постачальників для сайтів автозапчастин на базі промуТехнічне завдання Проєкт Налаштування наповнення та синхронізації двох магазинів Prom.ua з постачальниками автозапчастин. Завдання Необхідно реалізувати завантаження та оновлення товарів від постачальників автозапчастин для двох інтернет-магазинів на Prom.ua. ⸻ 1.… Парсинг даних ∙ 1 день 14 годин тому ∙ 44 ставки |
Парсинг бази
2000 UAH
Вимоги до каналів: 1.Мова контенту: Російська або українська (допускається змішаний контент RU/UA) 2.Кількість підписників: Не менше500 підписників 3.Активність: Останній пост опублікованийне пізніше ніж 32 години тому 4.Коментарі: В каналі повинні бутивідкриті коментарі під… Бази даних та SQL, Парсинг даних ∙ 1 день 15 годин тому ∙ 32 ставки |
Потрібно розробити Telegram-бота для моніторингу автомобілів з аукціонів США (Copart, IAAI)Потрібно створити Telegram-бота для автоматичного пошуку та моніторингу автомобілів "BUY IT NOW" на аукціонах США (Copart, IAAI) Бот повинен працювати в автоматичному режимі та надсилати повідомлення про нові автомобілі, які відповідають заданим фільтрам.Основний… Парсинг даних, Розробка ботів ∙ 2 дні 16 годин тому ∙ 93 ставки |