Парсер цен с hotline на php
Есть парсер на PHP, который собирает цены с хотлайна.
Процесс такой загружаем файл с urls которые надо распарсить на 5000 уролов, все работает только до 200 урлов.
Далее я так понимаю хотлайн блокирует запросы.
Что можно сделать? Кто может решить данную проблему?
-
30 days677 USD
308 1 0 30 days677 USD
Уточняющие фильтры делать и будет все гут. Обращайтесь сделаю
-
Скорее всего хотлайн блокирует запросы. Нужно ответы сервера посмотреть. Если это так, то просто использовать прокси. Можно арендовать мобильные и 1 хватит. Хотлайн их блосит не сможет. А если не сайт блокирует, то может стоит ограничение в самом скрипт или на Вашем сервере есть ограничение на время работы php скриптов
-
Спасибо.
Скрипт работает и не падает обрабатывает урлы дальше но как я понимаю то в ответ приходит страница с капчей.
А где эти прокси покупаются и как их использовать?
Это в скрипт их надо вмонтировать?
-
Вобщето как показывает практика , бесплатные прокся лучше купленых, реже перестают работать. Использовать их можно через curl. Применить парсер бесплатных проксей и каждый раз когда приходит ответ не тот , который нам надо, подставлять новый прокси.
-
Current freelance projects in the category Data Parsing
Need a parser for the online store https://www.lcsc.com/It is necessary to regularly (once a month, or upon script launch) obtain up-to-date information about the products available in the store. https://www.lcsc.com/ from the catalog of all sections.… Data Parsing ∙ 13 hours 43 minutes back ∙ 38 proposals |
OpenCart — rental catalog of special equipment
135 USD
OpenCart — Equipment Rental Catalog Need to launch an equipment rental catalog on OpenCart. Theme: excavators cherry pickers forklifts generators cranes scaffolding other construction equipment. It is preferable that you already have a ready-made template or developments… Web Programming, Data Parsing ∙ 1 day 6 hours back ∙ 53 proposals |
Transfer the program - the server where the program was located has crashed (officially permitted parsing of government data)
46 USD
Hello! My client has encountered the case described below. We need help transferring to a new server and testing the program. It would be better to have a programmer who understands parsing. Software & Server Configuration, Data Parsing ∙ 1 day 10 hours back ∙ 29 proposals |
Website parsingImplementation of 4 parsers (directory websites) is required. There is a technical specification, and there is a code example as a reference. The tasks include: Writing a parser Integrating a proxy Deduplication logic (transfer the logic from the example) Hashing logic based… Data Parsing ∙ 3 days 2 hours back ∙ 44 proposals |
Collection (parsing) of product database from supplier websites (Excel / CSV)
226 USD
Collection of product database from supplier websites (Excel / CSV) Good day. A specialist is required to collect and structure data from several supplier websites, access to which will be provided.Task: A unified product database needs to be created in Excel (XLSX) or CSV… Web Programming, Data Parsing ∙ 4 days 10 hours back ∙ 107 proposals |
Khmelnitskyi