Бюджет: 2000 UAH Термін: 2 дні
Якщо хостинг блокує проксі то бан ніяк не обійти. Хіба що парсити з цього хостингу через інший сервер. Вперше таке чую, що хостинг не дозволяє використовувати проксі! Самий правильний варіант - зміна хостингу!
Є скрипт написаний на php, який парсить веб-сайт виробника перебираючи всі можливі комбінації серійних номерів (виду PF567GHT) і складає їх результати відповідей у файл. Парсинг здійснюється через api виробника під ці потреби. Запит post curl, відповідь у вигляді json про статус серійного номера.
Єдина проблема, що після парсингу 200-500 тис серійних номерів (з паузою в 1 сек через кожні 10шт серійних номерів) отримую бан на деякий час і потім знову через деякий час є можливість продовжити парсинг з цього ip. Все виконується в безкінечному циклі на звичайному хостингу по крону, на якому заборонено використання проксі, але скрипти можуть виконуватись безкінечно за часом.
Потрібна допомога в здійсненні можливості запуску кількох таких php скриптів паралельно по крону і кожен зі своїм ip, щоб не банило через кілька сотень тисяч. Або ваш варіант реалізації і обходу обмеження хостингу на використання проксі.
Бюджет: 2000 UAH Термін: 2 дні
Якщо хостинг блокує проксі то бан ніяк не обійти. Хіба що парсити з цього хостингу через інший сервер. Вперше таке чую, що хостинг не дозволяє використовувати проксі! Самий правильний варіант - зміна хостингу!
Бюджет: 2000 UAH Термін: 2 дні
Доброго дня, можу виправити
- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -
Бюджет: 7000 UAH Термін: 7 днів
привіт, можу це все переписати на пайтоні з проксі та багатопоточністю
маю великий досвід у парсингу
Бюджет: 2000 UAH Термін: 1 день
Доброго дня. Займаюся написанням скриптів на PHP. Треба подивитися, який у Вас код і яка проблема з проксі.
Очень странно, что хостинг запрещает использовать прокси. Но даже если это так, надо просто искать нормальные платные прокси.
Покупал платные Прокси для теста и не мог получить страницу через curl запрос. После обращения в поддержку хостинга о данной проблеме - получил ответ, что хостинг запретил использование Прокси.
Якщо номер такого формату PF567GHT, то чого би просто не створити БД, яка би мала 12 000 000 000 записів ? І не треба нічого парсити. Просто з БД вибирайте необхідний номер і все.
Базу серійних номерів ви створите, проте щоб дізнатись який статус цього серійного номеру в базі виробника - потрібно робити запит до сайту виробника та відповідно обробити його відповідь на своїй стороні
необхідно організувати спосіб збору новостворених ФОПів та по можливості ТОВ. парсинг це, чи ще щось - скажіть ви, який це має бути спосіб
Доброго дня,Замовлю створення стабільного та надійного рішення для автоматичного моніторингу цін та доступності продуктів з конкретного, великого польського інтернет-магазину в галузі RTV/AGD.Мета проекту: Система повинна регулярно перевіряти вибрані продуктові посилання і у разі зміни ціни або статусу доступності надсилати сповіщення (найкраще через Telegram, Discord або електронну пошту – на узгодження).Виклик: Сайт магазину має дуже агресивні антибот-системи (Akamai/Cloudflare). Звичайні скрипти, що завантажують код сторінки, миттєво виявляються та блокуються. Рішення повинно ефективно обходити ці захисти, маскувати трафік бота та працювати стабільно в довгостроковій перспективі, без постійного виникнення помилок "Access Denied".Що я очікую від виконавця: Запропонувати повну архітектуру та технології (не нав'язую мову програмування чи конкретні інструменти). Надати готове рішення, яке я зможу легко запустити та ним керувати. Поради щодо інфраструктури (наприклад, які проксі будуть необхідні, щоб система працювала без проблем).У відповіді на оголошення, будь ласка, коротко опишіть: Який підхід/технологію ви пропонуєте, щоб ефективно та довгостроково обходити захисти цього магазину? Як ви бачите питання передачі сповіщень? Яка орієнтовна вартість виконання та час реалізації?Запрошую до подання пропозицій.
Про компанію Торговельна компанія. Працюємо з товарною групою більш ніж 2000 позицій за різними категоріями.Поточна ситуація Зараз номенклатура ведеться в Google Sheets — дані консолідовані за вкладками (категоріями). Структура вкладок: Назва товару Групи цін: собівартість, опт, роздріб Характеристики: вага, кількість в упаковці тощо. Важливо: кількість колонок відрізняється для різних категорій товарів, оскільки у них різні характеристики.Чому поточне рішення не підходить Google Sheets не дозволяє налаштовувати права доступу на рівні окремих колонок. Нам потрібно: Надавати користувачам права на перегляд певних колонок (наприклад, тільки собівартості) Надавати права на редагування певних колонок (наприклад, роздрібних цін) При цьому обмежувати доступ до інших колонок в тій же вкладціЩо потрібно зробитиОсновні вимоги Гнучка система розмежування прав Доступ на рівні окремих колонок (читання / запис) Призначення прав за ролями або користувачами Управління правами без участі програмістів Підтримка різної структури даних Різні категорії товарів мають різний набір характеристик Додавання нових колонок/характеристик без програмування Незалежність від розробників Адміністрування силами внутрішніх співробітників Додавання категорій, колонок, користувачів — через інтерфейс Інтеграція з ERP Вивантаження актуальних цін в нашу ERP-систему Експорт або автоматична інтеграція через API Аналіз даних за допомогою ШІ (бажано) Можливість аналізу всього переліку номенклатури Збагачення, перевірка, рекомендації — якщо у вас є ідеї, опишітьОчікуваний результат Працююче рішення, в якому: Номенклатура структурована за категоріями з різними наборами характеристик Права на колонки гнучко налаштовуються (перегляд / редагування) Дані вивантажуються в ERP Команда може управляти системою самостійноЩо потрібно від вас при відгуку Опишіть в загальних рисах, як ви бачите рішення: Який інструмент / платформу пропонуєте
Добрий вечір, є задача: треба 1-2 раза на день перевіряти наявність і актуальність цін товарів які додані на сайт (сайт на платформі prom.ua) з сайту постачальника. Можете прорахувати ціну і як це буде виглядати.
Налаштувати автоматичне оновлення раз в день наявність товарів на нашому сайті на пром.юа. Маємо постачальника, він відправляє прайс лист товарів в ексель форматі на нашу електронну пошту кожен день. Артикули на нашому сайті та в прайсі постачальника однакові. Значення в стовпці "залишки" або немає в наявності, або число, або більше ящика - треба оновлювати на сайті в стан Готово до відправки або Немає в наявності. Артикули, що не немає в прайсі постачальника - залишати без змін. Запропонуйте будь ласка рішення, термін і бюджет. Дякую за відгук завчасно, чекаю фахівця для співпраці.