Исправить ошибки парсера Python
Здравствуйте.
Есть парсер сайта rebuy.de написанный на Python3, который использует Scrapy, Splash и работает в docker container.
Есть ошибки, которые предыдущий разработчик отказывается исправлять:
1) Ошибка кодировки в данных. Пример:
Вместо слова "Bücher" вставляется "B\u00fccher", вместо символа "<" в логе вставляется "\u003c" и т.д.
Ошибка появилась после последних 2х дней правок, раньше такого не было.
2) Ссылки категорий, заданные для парсинга, имеют параметры/фильтры типа "&priceMin=0&priceMax=10".
При работе парсер использует только первую ссылку с фильтрами из списка, все последующие парсит, отбрасывая фильтры, что приводит к потере товаров, и как следствие - данных.
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Potrzebny parser sklepu internetowego https://www.lcsc.com/należy regularnie (1 raz w miesiącu, lub przy uruchomieniu skryptu) uzyskiwać aktualne informacje o produktach dostępnych w sklepie https://www.lcsc.com/ z katalogu wszystkich działów… Parsowanie danych ∙ 23 godziny 16 minut temu ∙ 39 ofert |
OpenCart — katalog wynajmu sprzętu specjalistycznego
493 PLN
OpenCart — katalog wynajmu sprzętu specjalistycznegoPotrzebne jest uruchomienie katalogu wynajmu sprzętu specjalistycznego na OpenCart.Tematyka:koparkipodnośnikiładowarkigeneratorydźwigirusztowaniainny sprzęt budowlany.Preferowane, abyście mieli już gotowy szablon lub… Programowanie stron internetowych, Parsowanie danych ∙ 1 dzień 15 godzin temu ∙ 55 ofert |
Przenieść program - serwer, na którym był program, padł (oficjalne dozwolone parsowanie danych publicznych)
169 PLN
Witaj! Mój klient ma przypadek opisany poniżej. Potrzebna pomoc w przeniesieniu na nowy serwer i przetestowaniu programu. Lepiej, aby to był programista, który zna się na parsowaniu. Konfigurowanie oprogramowania i serwerów, Parsowanie danych ∙ 1 dzień 19 godzin temu ∙ 29 ofert |
Parsowanie stronyWymagana jest implementacja 4 parserów (strony katalogowe) Jest specyfikacja, jest przykład kodu jako referencja. Do zadań należy: Napisanie parsera Podłączenie proxy Logika deduplikacji (przeniesienie logiki z przykładu) Logika haszowania według 3 pól Parser powinien… Parsowanie danych ∙ 3 dni 12 godzin temu ∙ 44 oferty |
Zbieranie (parsowanie) bazy towarów z witryn dostawców (Excel / CSV)
822 PLN
Zbieranie bazy produktów z witryn dostawców (Excel / CSV)Dzień dobry.Potrzebny jest specjalista do zbierania i strukturyzowania danych z kilku witryn dostawców, do których dostęp zostanie zapewniony.Zadanie:Należy stworzyć jednolitą bazę produktów w formacie Excel (XLSX) lub… Programowanie stron internetowych, Parsowanie danych ∙ 4 dni 19 godzin temu ∙ 108 ofert |
Charków