Доповнити скрипт парсингу на php багатопоточністю або використанням Проксі на хостингу
2000 UAH
Є скрипт написаний на php, який парсить веб-сайт виробника перебираючи всі можливі комбінації серійних номерів (виду PF567GHT) і складає їх результати відповідей у файл. Парсинг здійснюється через api виробника під ці потреби. Запит post curl, відповідь у вигляді json про статус серійного номера.
Єдина проблема, що після парсингу 200-500 тис серійних номерів (з паузою в 1 сек через кожні 10шт серійних номерів) отримую бан на деякий час і потім знову через деякий час є можливість продовжити парсинг з цього ip. Все виконується в безкінечному циклі на звичайному хостингу по крону, на якому заборонено використання проксі, але скрипти можуть виконуватись безкінечно за часом.
Потрібна допомога в здійсненні можливості запуску кількох таких php скриптів паралельно по крону і кожен зі своїм ip, щоб не банило через кілька сотень тисяч. Або ваш варіант реалізації і обходу обмеження хостингу на використання проксі.
-
2 дні2000 UAH
3840 78 0 2 дні2000 UAH
Якщо хостинг блокує проксі то бан ніяк не обійти. Хіба що парсити з цього хостингу через інший сервер. Вперше таке чую, що хостинг не дозволяє використовувати проксі! Самий правильний варіант - зміна хостингу!
-
2 дні2000 UAH
3715 88 0 2 дні2000 UAH
Доброго дня, можу виправити
- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -
-
7 днів7000 UAH
2138 22 2 7 днів7000 UAH
привіт, можу це все переписати на пайтоні з проксі та багатопоточністю
маю великий досвід у парсингу
-
1 день2000 UAH
1328 35 1 1 день2000 UAH
Доброго дня. Займаюся написанням скриптів на PHP. Треба подивитися, який у Вас код і яка проблема з проксі.
-
Очень странно, что хостинг запрещает использовать прокси. Но даже если это так, надо просто искать нормальные платные прокси.
-
Покупал платные Прокси для теста и не мог получить страницу через curl запрос. После обращения в поддержку хостинга о данной проблеме - получил ответ, что хостинг запретил использование Прокси.
-
Якщо номер такого формату PF567GHT, то чого би просто не створити БД, яка би мала 12 000 000 000 записів ? І не треба нічого парсити. Просто з БД вибирайте необхідний номер і все.
-
Базу серійних номерів ви створите, проте щоб дізнатись який статус цього серійного номеру в базі виробника - потрібно робити запит до сайту виробника та відповідно обробити його відповідь на своїй стороні
-
Ну так то для цього всякі мікросервіси підінімають, на других хостингах
-
Актуальні фриланс-проєкти в категорії Парсинг даних
Консультація по парсингу підписників Instagram-акаунтівДоброго дня. Необхідно провести попередню оцінку можливості виконання наступного завдання. У мене є список Instagram-акаунтів. Мета — отримати контактні дані (в першу чергу email-адреси) користувачів, які підписані на ці акаунти. Раніше мені зустрічалися компанії та сервіси, які… Парсинг даних ∙ 2 дні 13 годин тому ∙ 12 ставок |
Потрібен спеціаліст для пошуку контактів ЛПР по УкраїніНеобхідно зібрати базу (чи готова база) контактів осіб, які приймають рішення (ЛПР), у компаніях України. Збір інформації, Парсинг даних ∙ 2 дні 17 годин тому ∙ 17 ставок |
Потрібно спартити дані з Linkedin
Потрібно спартити дані з Linkedin по нашому списку. Для кожного запису потрібно знайти та зібрати доступні дані якщо такі є на Linkedin профілі включаючи фотографію профілю на соц мережі Lihnkedin, email-адресу, посилання на соціальні мережі, вебсайт компанії, номер телефону.… Парсинг даних ∙ 2 дні 23 години тому ∙ 27 ставок |
Парсинг та класифікація даних
Шукаємо розробника для реалізації системи збору та структурування даних з відкритих джерел. Маємо базу власників малого бізнесу в США, яка містить ім’я людини, назву компанії, адресу та штат. Необхідно побудувати процес збагачення цих записів додатковою інформацією з публічно… Веб-програмування, Парсинг даних ∙ 3 дні тому ∙ 41 ставка |
Svitlahata
750 UAH
Потрібно імпортувати 1819 товарів із XML/YML-фіду Prom.ua до OpenCart 3. Є готовий XML-файл, який містить назви товарів, описи, ціни, фотографії, характеристики, виробників та категорії. Необхідно: імпортувати всі товари до OpenCart 3; створити та прив’язати категорії;… CMS, Парсинг даних ∙ 4 дні 3 години тому ∙ 34 ставки |
Київ