Data QA Engineer
We are looking for a detail-oriented engineer with strong SQL and Data management experience to work with our analytics and data science back-end. This role will include verifying data integrity, deduplication, aggregated metrics. Building QA and validation processes for datasets and algorithms. The ideal candidate will have the ability to take ownership of daily data ingests from client and help building validation around it. Collaborate with the data science and ops teams.
Requirements
Strong SQL, MySQL or PostgreSQL
Experience writing scripts in Python
Should be comfortable working with big datasets
Experience validating data in text or CSV data formats
Attention to details and self organization
Nice to have
Experience with AWS S3
Background in science or engineering
Experience with a scheduler such as AirFlow or Jenkins
Big Data technologies: Redshift, Redshift Spectrum, Spark, Hadoop
Workload: Half-time or Full-time
-
1 день7000 UAH
872 23 0 1 день7000 UAH
jnkjhjhghjbjhbhgfhghjbfty jbjbkjbuigyugubjhbvuyftygyubuihbiubiuhb
-
30 днів20 000 UAH
499 32 1 30 днів20 000 UAH
Hi. I have 4 years experience in testing. In general I perform manual testing. Also I can write UI automation tests with selenide, java, maven gitlab CI.
All details in personal messages.
-
Experience with MSSQL, over 10 years. Big bases more than 2Gb, import export csv. Query optimization.
-
MySQL or Postgres? Python?
-
Актуальні фриланс-проєкти в категорії Парсинг даних
Потрібен парсер інтернет-магазину https://www.lcsc.com/потрібно регулярно (1 раз на місяць, або при запуску скрипта) отримувати актуальну інформацію про товари в наявності магазину https://www.lcsc.com/ з каталогу всіх розділів… Парсинг даних ∙ 3 години 53 хвилини тому ∙ 26 ставок |
OpenCart — каталог оренди спецтехніки
6000 UAH
OpenCart — каталог оренди спецтехніки Потрібно запустити каталог оренди спецтехніки на OpenCart. Тематика: екскаватори; автовишки; навантажувачі; генератори; крани; риштування; інша будівельна техніка. Бажано, щоб у вас вже був готовий шаблон або напрацювання під… Веб-програмування, Парсинг даних ∙ 20 годин 19 хвилин тому ∙ 46 ставок |
Перенести програму - слетів сервер, де була програма (офіційний дозволений парсинг державних даних)
2066 UAH
Добрий! У мене у клієнта стався даний кейс, описаний нижче. Потрібно допомогти перенести на новий сервер і протестувати програму. Краще програміст, який розбирається в парсингу. Налаштування ПЗ та серверів, Парсинг даних ∙ 1 день тому ∙ 26 ставок |
Парсинг та класифікація великого масиву зображеньПотрібно реалізувати проєкт зі збору та структурування великого масиву архітектурних зображень із відкритих вебджерел.Задача включає: автоматизований збір зображень; завантаження файлів у максимально доступній якості; класифікацію зображень за категоріями: Exterior; Interior;… Python, Парсинг даних ∙ 1 день тому ∙ 30 ставок |
Парсинг сайтуПотрібна реалізація 4 парсерів (сайти каталоги) Є ТЗ, є приклад коду як референс. В завдання входить: Написати парсер Прикрутити проксі Логіка дедублікації (перенести логіку з прикладу) Логіка хешування по 3 полям Парсер має працювати як пайплайн з логікою, що описана… Парсинг даних ∙ 2 дні 16 годин тому ∙ 42 ставки |
Los Angeles