Дополнить скрипт парсинга на php многопоточностью или использованием Прокси на хостинге
2000 UAHЕсть скрипт написанный на php, который парсит веб-сайт производителя перебирая все возможные комбинации серийных номеров (вида PF567GHT) и складывает их результаты ответов в файл. Парсинг осуществляется через api производителя под эти нужды. Запрос post curl, ответ в виде json о статусе серийного номера.
Единственная проблема, что после Парсинга 200-500 тыс серийных номеров (с паузой в 1 сек через каждые 10шт серийных номеров) получаю бан на некоторое время и потом опять через некоторое время есть возможность продолжить парсинг с этого ip. Все выполняется в бесконечном цикле на обычном хостинге по крону, на котором запрещено использование прокси, но скрипты могут выполняться бесконечно по времени.
Нужна помощь в осуществлении возможности запуска нескольких таких пхп скриптов параллельно по крону и каждый со своим ip, чтобы не банило через несколько сотен тысяч. Или ваш вариант реализации и обхода ограничения хостинга на использование Прокси.
-
2 дня2000 UAH
3840 78 0 2 дня2000 UAH
Если хостинг блокирует прокси, то бан никак не обойти. Разве что парсить с этого хостинга через другой сервер. Впервые такое слышу, что хостинг не позволяет использовать прокси! Самый правильный вариант - смена хостинга!
-
2 дня2000 UAH
3741 88 0 2 дня2000 UAH
Добрый день, могу поправить
- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -
-
7 дней7000 UAH
2138 22 2 7 дней7000 UAH
привет, могу это все переписать на пайтоне с прокси и многопоточностью
имею большой опыт в парсинге
-
1 день2000 UAH
1328 35 1 1 день2000 UAH
Добрый день. Занимаюсь написание скриптов на пхп. Надо посмотреть, что у Вас за код и что за проблема с прокси.
-
Очень странно, что хостинг запрещает использовать прокси. Но даже если это так, надо просто искать нормальные платные прокси.
-
Покупал платные Прокси для теста и не мог получить страницу через curl запрос. После обращения в поддержку хостинга о данной проблеме - получил ответ, что хостинг запретил использование Прокси.
-
Якщо номер такого формату PF567GHT, то чого би просто не створити БД, яка би мала 12 000 000 000 записів ? І не треба нічого парсити. Просто з БД вибирайте необхідний номер і все.
-
Базу серійних номерів ви створите, проте щоб дізнатись який статус цього серійного номеру в базі виробника - потрібно робити запит до сайту виробника та відповідно обробити його відповідь на своїй стороні
-
Ну так то для цього всякі мікросервіси підінімають, на других хостингах
-
Актуальные фриланс-проекты в категории Парсинг данных
Парсер сайта авто риа
1500 UAH
Нужен парсер контактов, сайт авто риа Собирать номера телефонов / автомобиль (марка, модель, год) (в таблицу, для будущих смс рассылок) Парсинг данных ∙ 8 часов 46 минут назад ∙ 27 ставок |
Свитлагата
750 UAH
Необходимо импортировать 1819 товаров из XML/YML-фида Prom.ua в OpenCart 3. Есть готовый XML-файл, который содержит названия товаров, описания, цены, фотографии, характеристики, производителей и категории. Необходимо: импортировать все товары в OpenCart 3; создать и… CMS, Парсинг данных ∙ 19 часов 33 минуты назад ∙ 28 ставок |
Парсинг данных через мобильное APIИщу человека с опытом парсинга данных через мобильное API, для парсинга e-commerce, rozetka и аналоги Задачи: 1. Перехват трафика мобильного приложения (Android) настройка прокси, анализ запросов 2. Определение нужных API endpoints куда идут запросы, какие headers… Python, Парсинг данных ∙ 2 дня 14 часов назад ∙ 30 ставок |
Ищу программиста или вайб кодинг Автоматизация scraping данных 2https://drive.google.com/file/d/14tP5XWJB9acV4gn_cJrFwMpihUj3EbQz/view?usp=sharing я нечаянно на ту ссылку послал Веб-программирование, Парсинг данных ∙ 2 дня 16 часов назад ∙ 39 ставок |
Создать дашборд в https://airtable.com/ по результативности рекламных креативов из facebook adsПолноценное ТЗ https://docs.google.com/document/d/1_n_oYRNZWYxalUA---DM5AD1b5ZSrtePw5J4G42svGw/edit?usp=sharing Базы данных и SQL, Парсинг данных ∙ 7 дней 11 часов назад ∙ 20 ставок |
Киев