Парсер цен с hotline на php
Есть парсер на PHP, который собирает цены с хотлайна.
Процесс такой загружаем файл с urls которые надо распарсить на 5000 уролов, все работает только до 200 урлов.
Далее я так понимаю хотлайн блокирует запросы.
Что можно сделать? Кто может решить данную проблему?
-
30 dni2526 PLN
308 1 0 30 dni2526 PLN
Уточняющие фильтры делать и будет все гут. Обращайтесь сделаю
-
Скорее всего хотлайн блокирует запросы. Нужно ответы сервера посмотреть. Если это так, то просто использовать прокси. Можно арендовать мобильные и 1 хватит. Хотлайн их блосит не сможет. А если не сайт блокирует, то может стоит ограничение в самом скрипт или на Вашем сервере есть ограничение на время работы php скриптов
-
Спасибо.
Скрипт работает и не падает обрабатывает урлы дальше но как я понимаю то в ответ приходит страница с капчей.
А где эти прокси покупаются и как их использовать?
Это в скрипт их надо вмонтировать?
-
Вобщето как показывает практика , бесплатные прокся лучше купленых, реже перестают работать. Использовать их можно через curl. Применить парсер бесплатных проксей и каждый раз когда приходит ответ не тот , который нам надо, подставлять новый прокси.
-
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Sparsować bazę i dodać do czatu w TGWydobyć bazę z List ua i dodać według numerów do czatu na Telegramie. Czat na temat remontu i designu wnętrz. Parsowanie danych, Praca z klientami ∙ 11 godzin 37 minut temu ∙ 19 ofert |
Należy opracować bota Telegram do monitorowania samochodów z aukcji w USA (Copart, IAAI)Należy stworzyć bota Telegram do automatycznego wyszukiwania i monitorowania samochodów "BUY IT NOW" na aukcjach w USA (Copart, IAAI). Bot powinien działać w trybie automatycznym i wysyłać powiadomienia o nowych samochodach, które odpowiadają zadanym filtrom.Podstawowa… Parsowanie danych, Tworzenie chatbota ∙ 19 godzin 10 minut temu ∙ 68 ofert |
Parsowanie produktów, przygotowanie do importu na WPWydobyć pełny katalog tych stron: https://svit-mebliv.ua/ https://kompanit.com.ua/ru https://amia.com.ua/ https://mebliromax.com.ua/ https://pehotin.com.ua/catalog/ https://www.sokme.ua/ru/ Wszystkie produkty muszą być połączone w jedną wspólną tabelę do importu do WP. Każdy… Programowanie stron internetowych, Parsowanie danych ∙ 3 dni 11 godzin temu ∙ 57 ofert |
Wymagany specjalista ds. promocji w Telegramie.
107 PLN
Zadania: zapraszanie rzeczywistych użytkowników z bazy nazw użytkowników do nowych czatów oraz wysyłanie wiadomości do docelowej bazy. Interesuje nas tylko jakościowy ruch i praca z żywą publicznością — wykonawców korzystających z botów, sztucznego zwiększania lub niskiej… Parsowanie danych, Promocja w sieciach społecznościowych (SMM) ∙ 8 dni 11 godzin temu ∙ 9 ofert |
Konsultacja dotycząca parsowania subskrybentów kont InstagramWitam. Konieczne jest przeprowadzenie wstępnej oceny możliwości realizacji następującego zadania. Posiadam listę kont na Instagramie. Celem jest uzyskanie danych kontaktowych (w pierwszej kolejności adresów e-mail) użytkowników, którzy obserwują te konta. Wcześniej spotkałem… Parsowanie danych ∙ 12 dni 6 godzin temu ∙ 13 ofert |
Chmielnicki