Бюджет: 2000 UAH Срок: 2 дня
Если хостинг блокирует прокси, то бан никак не обойти. Разве что парсить с этого хостинга через другой сервер. Впервые такое слышу, что хостинг не позволяет использовать прокси! Самый правильный вариант - смена хостинга!
Есть скрипт написанный на php, который парсит веб-сайт производителя перебирая все возможные комбинации серийных номеров (вида PF567GHT) и складывает их результаты ответов в файл. Парсинг осуществляется через api производителя под эти нужды. Запрос post curl, ответ в виде json о статусе серийного номера.
Единственная проблема, что после Парсинга 200-500 тыс серийных номеров (с паузой в 1 сек через каждые 10шт серийных номеров) получаю бан на некоторое время и потом опять через некоторое время есть возможность продолжить парсинг с этого ip. Все выполняется в бесконечном цикле на обычном хостинге по крону, на котором запрещено использование прокси, но скрипты могут выполняться бесконечно по времени.
Нужна помощь в осуществлении возможности запуска нескольких таких пхп скриптов параллельно по крону и каждый со своим ip, чтобы не банило через несколько сотен тысяч. Или ваш вариант реализации и обхода ограничения хостинга на использование Прокси.
Бюджет: 2000 UAH Срок: 2 дня
Если хостинг блокирует прокси, то бан никак не обойти. Разве что парсить с этого хостинга через другой сервер. Впервые такое слышу, что хостинг не позволяет использовать прокси! Самый правильный вариант - смена хостинга!
Бюджет: 2000 UAH Срок: 2 дня
Добрый день, могу поправить
- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -- - -
Бюджет: 7000 UAH Срок: 7 дней
привет, могу это все переписать на пайтоне с прокси и многопоточностью
имею большой опыт в парсинге
Бюджет: 2000 UAH Срок: 1 день
Добрый день. Занимаюсь написание скриптов на пхп. Надо посмотреть, что у Вас за код и что за проблема с прокси.
Очень странно, что хостинг запрещает использовать прокси. Но даже если это так, надо просто искать нормальные платные прокси.
Покупал платные Прокси для теста и не мог получить страницу через curl запрос. После обращения в поддержку хостинга о данной проблеме - получил ответ, что хостинг запретил использование Прокси.
Якщо номер такого формату PF567GHT, то чого би просто не створити БД, яка би мала 12 000 000 000 записів ? І не треба нічого парсити. Просто з БД вибирайте необхідний номер і все.
Базу серійних номерів ви створите, проте щоб дізнатись який статус цього серійного номеру в базі виробника - потрібно робити запит до сайту виробника та відповідно обробити його відповідь на своїй стороні
необходимо организовать способ сбора новосозданных ФОПов и по возможности ТОВ. парсинг это, или что-то еще - скажите вы, каким это должен быть способ
Добрый день,Я поручаю создание стабильного и надежного решения для автоматического мониторинга цен и доступности продуктов из конкретного, крупного польского интернет-магазина в области RTV/AGD.Цель проекта: Система должна регулярно проверять выбранные продуктовые ссылки и в случае изменения цены или статуса доступности отправлять уведомление (предпочтительно в Telegram, Discord или по электронной почте – по согласованию).Задача: Сайт магазина имеет очень агрессивные антибот-системы (Akamai/Cloudflare). Обычные скрипты, загружающие код страницы, немедленно обнаруживаются и блокируются. Решение должно эффективно обходить эти защиты, маскировать трафик бота и работать стабильно в долгосрочной перспективе, без постоянного появления ошибок "Access Denied".Что я ожидаю от исполнителя: Предложить полную архитектуру и технологии (я не навязываю язык программирования или конкретные инструменты). Предоставить готовое решение, которое я смогу легко запустить и управлять им. Советы по инфраструктуре (например, какие прокси будут необходимы для бесперебойной работы системы).В ответ на объявление прошу кратко описать: Какой подход/технологию вы предлагаете, чтобы эффективно и в долгосрочной перспективе обходить защиты этого магазина? Как вы видите вопрос передачи уведомлений? Какова ориентировочная стоимость выполнения и срок реализации?Приглашаю к подаче заявок.
О компании Торговая компания. Работаем с товарной группой более 2000 позиций по разным категориям.Текущая ситуация Сейчас номенклатура ведётся в Google Sheets — данные консолидированы по вкладкам (категориям). Структура вкладок: Наименование товара Группы цен: себестоимость, опт, розница Характеристики: вес, количество в упаковке и т.д. Важно: количество колонок отличается для разных категорий товаров, так как у них разные характеристики.Почему текущее решение не подходит Google Sheets не позволяет настраивать права доступа на уровне отдельных колонок. Нам нужно: Давать пользователям права на просмотр определённых колонок (например, только себестоимости) Давать права на редактирование определённых колонок (например, розничных цен) При этом ограничивать доступ к остальным колонкам в той же вкладкеЧто нужно сделатьОсновные требования Гибкая система разграничения прав Доступ на уровне отдельных колонок (чтение / запись) Назначение прав по ролям или пользователям Управление правами без участия программистов Поддержка разной структуры данных Разные категории товаров имеют разный набор характеристик Добавление новых колонок/характеристик без программирования Независимость от разработчиков Администрирование силами внутренних сотрудников Добавление категорий, колонок, пользователей — через интерфейс Интеграция с ERP Выгрузка актуальных цен в нашу ERP-систему Экспорт или автоматическая интеграция по API Анализ данных с помощью ИИ (желательно) Возможность анализа всего перечня номенклатуры Обогащение, проверка, рекомендации — если у вас есть идеи, опишитеОжидаемый результат Работающее решение, в котором: Номенклатура структурирована по категориям с разными наборами характеристик Права на колонки гибко настраиваются (просмотр / редактирование) Данные выгружаются в ERP Команда может управлять системой самостоятельноЧто нужно от вас при отклике Опишите в общих чертах, как вы видите решение: Какой инструмент / платформу предлагаете
Добрый вечер, есть задача: нужно 1-2 раза в день проверять наличие и актуальность цен товаров, которые добавлены на сайт (сайт на платформе prom.ua) с сайта поставщика. Можете рассчитать цену и как это будет выглядеть.
Настроить автоматическое обновление раз в день наличия товаров на нашем сайте на пром.юа. У нас есть поставщик, он отправляет прайс-лист товаров в эксель-формате на нашу электронную почту каждый день. Артикулы на нашем сайте и в прайсе поставщика одинаковые. Значение в столбце "остатки" либо отсутствует, либо число, либо больше ящика - нужно обновлять на сайте в состояние Готово к отправке или Нет в наличии. Артикулы, которых нет в прайсе поставщика - оставлять без изменений. Предложите, пожалуйста, решение, срок и бюджет. Спасибо за отзыв заранее, жду специалиста для сотрудничества.