Парсер цен с hotline на php
Есть парсер на PHP, который собирает цены с хотлайна.
Процесс такой загружаем файл с urls которые надо распарсить на 5000 уролов, все работает только до 200 урлов.
Далее я так понимаю хотлайн блокирует запросы.
Что можно сделать? Кто может решить данную проблему?
-
30 dni2467 PLN
308 1 0 30 dni2467 PLN
Уточняющие фильтры делать и будет все гут. Обращайтесь сделаю
-
Скорее всего хотлайн блокирует запросы. Нужно ответы сервера посмотреть. Если это так, то просто использовать прокси. Можно арендовать мобильные и 1 хватит. Хотлайн их блосит не сможет. А если не сайт блокирует, то может стоит ограничение в самом скрипт или на Вашем сервере есть ограничение на время работы php скриптов
-
Спасибо.
Скрипт работает и не падает обрабатывает урлы дальше но как я понимаю то в ответ приходит страница с капчей.
А где эти прокси покупаются и как их использовать?
Это в скрипт их надо вмонтировать?
-
Вобщето как показывает практика , бесплатные прокся лучше купленых, реже перестают работать. Использовать их можно через curl. Применить парсер бесплатных проксей и каждый раз когда приходит ответ не тот , который нам надо, подставлять новый прокси.
-
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Potrzebny parser sklepu internetowego https://www.lcsc.com/należy regularnie (1 raz w miesiącu, lub przy uruchomieniu skryptu) uzyskiwać aktualne informacje o produktach dostępnych w sklepie https://www.lcsc.com/ z katalogu wszystkich działów… Parsowanie danych ∙ 9 godzin 54 minuty temu ∙ 34 oferty |
OpenCart — katalog wynajmu sprzętu specjalistycznego
493 PLN
OpenCart — katalog wynajmu sprzętu specjalistycznegoPotrzebne jest uruchomienie katalogu wynajmu sprzętu specjalistycznego na OpenCart.Tematyka:koparkipodnośnikiładowarkigeneratorydźwigirusztowaniainny sprzęt budowlany.Preferowane, abyście mieli już gotowy szablon lub… Programowanie stron internetowych, Parsowanie danych ∙ 1 dzień 2 godziny temu ∙ 47 ofert |
Przenieść program - serwer, na którym był program, padł (oficjalne dozwolone parsowanie danych publicznych)
169 PLN
Witaj! Mój klient ma przypadek opisany poniżej. Potrzebna pomoc w przeniesieniu na nowy serwer i przetestowaniu programu. Lepiej, aby to był programista, który zna się na parsowaniu. Konfigurowanie oprogramowania i serwerów, Parsowanie danych ∙ 1 dzień 6 godzin temu ∙ 28 ofert |
Parsowanie stronyWymagana jest implementacja 4 parserów (strony katalogowe) Jest specyfikacja, jest przykład kodu jako referencja. Do zadań należy: Napisanie parsera Podłączenie proxy Logika deduplikacji (przeniesienie logiki z przykładu) Logika haszowania według 3 pól Parser powinien… Parsowanie danych ∙ 2 dni 22 godziny temu ∙ 44 oferty |
Zbieranie (parsowanie) bazy towarów z witryn dostawców (Excel / CSV)
822 PLN
Zbieranie bazy produktów z witryn dostawców (Excel / CSV)Dzień dobry.Potrzebny jest specjalista do zbierania i strukturyzowania danych z kilku witryn dostawców, do których dostęp zostanie zapewniony.Zadanie:Należy stworzyć jednolitą bazę produktów w formacie Excel (XLSX) lub… Programowanie stron internetowych, Parsowanie danych ∙ 4 dni 6 godzin temu ∙ 105 ofert |
Chmielnicki