Data QA Engineer
We are looking for a detail-oriented engineer with strong SQL and Data management experience to work with our analytics and data science back-end. This role will include verifying data integrity, deduplication, aggregated metrics. Building QA and validation processes for datasets and algorithms. The ideal candidate will have the ability to take ownership of daily data ingests from client and help building validation around it. Collaborate with the data science and ops teams.
Requirements
Strong SQL, MySQL or PostgreSQL
Experience writing scripts in Python
Should be comfortable working with big datasets
Experience validating data in text or CSV data formats
Attention to details and self organization
Nice to have
Experience with AWS S3
Background in science or engineering
Experience with a scheduler such as AirFlow or Jenkins
Big Data technologies: Redshift, Redshift Spectrum, Spark, Hadoop
Workload: Half-time or Full-time
-
1 dzień574 PLN
872 23 0 1 dzień574 PLN
jnkjhjhghjbjhbhgfhghjbfty jbjbkjbuigyugubjhbvuyftygyubuihbiubiuhb
-
30 dni1641 PLN
499 32 1 30 dni1641 PLN
Hi. I have 4 years experience in testing. In general I perform manual testing. Also I can write UI automation tests with selenide, java, maven gitlab CI.
All details in personal messages.
-
Experience with MSSQL, over 10 years. Big bases more than 2Gb, import export csv. Query optimization.
-
MySQL or Postgres? Python?
-
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Potrzebny parser sklepu internetowego https://www.lcsc.com/należy regularnie (1 raz w miesiącu, lub przy uruchomieniu skryptu) uzyskiwać aktualne informacje o produktach dostępnych w sklepie https://www.lcsc.com/ z katalogu wszystkich działów… Parsowanie danych ∙ 5 godzin 33 minuty temu ∙ 28 ofert |
OpenCart — katalog wynajmu sprzętu specjalistycznego
492 PLN
OpenCart — katalog wynajmu sprzętu specjalistycznegoPotrzebne jest uruchomienie katalogu wynajmu sprzętu specjalistycznego na OpenCart.Tematyka:koparkipodnośnikiładowarkigeneratorydźwigirusztowaniainny sprzęt budowlany.Preferowane, abyście mieli już gotowy szablon lub… Programowanie stron internetowych, Parsowanie danych ∙ 21 godzin 59 minut temu ∙ 46 ofert |
Przenieść program - serwer, na którym był program, padł (oficjalne dozwolone parsowanie danych publicznych)
169 PLN
Witaj! Mój klient ma przypadek opisany poniżej. Potrzebna pomoc w przeniesieniu na nowy serwer i przetestowaniu programu. Lepiej, aby to był programista, który zna się na parsowaniu. Konfigurowanie oprogramowania i serwerów, Parsowanie danych ∙ 1 dzień 1 godzina temu ∙ 27 ofert |
Parsowanie stronyWymagana jest implementacja 4 parserów (strony katalogowe) Jest specyfikacja, jest przykład kodu jako referencja. Do zadań należy: Napisanie parsera Podłączenie proxy Logika deduplikacji (przeniesienie logiki z przykładu) Logika haszowania według 3 pól Parser powinien… Parsowanie danych ∙ 2 dni 18 godzin temu ∙ 42 oferty |
Zbieranie (parsowanie) bazy towarów z witryn dostawców (Excel / CSV)
820 PLN
Zbieranie bazy produktów z witryn dostawców (Excel / CSV)Dzień dobry.Potrzebny jest specjalista do zbierania i strukturyzowania danych z kilku witryn dostawców, do których dostęp zostanie zapewniony.Zadanie:Należy stworzyć jednolitą bazę produktów w formacie Excel (XLSX) lub… Programowanie stron internetowych, Parsowanie danych ∙ 4 dni 1 godzina temu ∙ 103 oferty |
Los Angeles