Бюджет: 2000 UAH Срок: 2 дня
Если хостинг блокирует прокси, то бан никак не обойти. Разве что парсить с этого хостинга через другой сервер. Впервые такое слышу, что хостинг не позволяет использовать прокси! Самый правильный вариант - смена хостинга!
Есть скрипт написанный на php, который парсит веб-сайт производителя перебирая все возможные комбинации серийных номеров (вида PF567GHT) и складывает их результаты ответов в файл. Парсинг осуществляется через api производителя под эти нужды. Запрос post curl, ответ в виде json о статусе серийного номера.
Единственная проблема, что после Парсинга 200-500 тыс серийных номеров (с паузой в 1 сек через каждые 10шт серийных номеров) получаю бан на некоторое время и потом опять через некоторое время есть возможность продолжить парсинг с этого ip. Все выполняется в бесконечном цикле на обычном хостинге по крону, на котором запрещено использование прокси, но скрипты могут выполняться бесконечно по времени.
Нужна помощь в осуществлении возможности запуска нескольких таких пхп скриптов параллельно по крону и каждый со своим ip, чтобы не банило через несколько сотен тысяч. Или ваш вариант реализации и обхода ограничения хостинга на использование Прокси.
Бюджет: 2000 UAH Срок: 2 дня
Если хостинг блокирует прокси, то бан никак не обойти. Разве что парсить с этого хостинга через другой сервер. Впервые такое слышу, что хостинг не позволяет использовать прокси! Самый правильный вариант - смена хостинга!
Бюджет: 2000 UAH Срок: 2 дня
Добрый день, могу поправить
- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -
Бюджет: 7000 UAH Срок: 7 дней
привет, могу это все переписать на пайтоне с прокси и многопоточностью
имею большой опыт в парсинге
Бюджет: 2000 UAH Срок: 1 день
Добрый день. Занимаюсь написание скриптов на пхп. Надо посмотреть, что у Вас за код и что за проблема с прокси.
Очень странно, что хостинг запрещает использовать прокси. Но даже если это так, надо просто искать нормальные платные прокси.
Покупал платные Прокси для теста и не мог получить страницу через curl запрос. После обращения в поддержку хостинга о данной проблеме - получил ответ, что хостинг запретил использование Прокси.
Якщо номер такого формату PF567GHT, то чого би просто не створити БД, яка би мала 12 000 000 000 записів ? І не треба нічого парсити. Просто з БД вибирайте необхідний номер і все.
Базу серійних номерів ви створите, проте щоб дізнатись який статус цього серійного номеру в базі виробника - потрібно робити запит до сайту виробника та відповідно обробити його відповідь на своїй стороні
43 ставки 10:11
36 ставок 3 августа
72 ставки 2 августа
Веб-программирование 30 ставок 30 июля
Python 47 ставок 30 июля