Наладить авторизацию парсера на PHP для сайта за cloudflare
Здравствуйте! Я завел себе парсер на сайте opencart 2.3 но он не может авторизоваться на доноре cloudflare.
вот мое сообщение тут..
https://opencartforum.com/topic/184403-nastroyka-modulya-simplepars-dlya-parsinga-sayta-na-cloudflare-parsing-v-csv/
- парсер вот такой если что https://parsing.org.ua/
- донора скину в личку
-
2 дня500 UAH
23 2 дня500 UAH
Попробую настроить через прокси сервер, если у вас не получится
-
Это лучше к разработчику парсера обратиться.
А вообще по опыту работы с cloudlare у вас самое вероятное
1. Бан по IP
2. Бан т.к. Cloudflare видит, что это не браузер.
С Cloudflare много заморочек. В некоторых случаях решается парсингом через реальный браузер + прокси. Прокси под Cloudflare тоже нужно еще подобрать + они также быстро попадают в бан, т.к. нейросетка обучаеться + обновляеться постоянно база прокси.
-
если у вас есть договоренность о парсинге с владельцем сайта, то надо настроить исключение для парсера
такая возможность есть у cloudflare
иначе - никак
-
с друго сервера авторизуется а с моего нет, может кто то что то знает
-
Предлагаю добавить в парсер список свежих прокси, которые будут обновляться, и проверить его работу
-
я готов попробовать! Что для этого нужно ?
-
а там как пойдет
-
Давайте попробуем, это самый быстрй вариант? Как это сделать?
-
У меня пока профиль не настроен, не могу оставлять отклик на заказ.
Для начала вам нужен аккаунт, например на ProxyMesh, там 30 дней бесплатный триал. В настройках OpenCart нужно найти "Cloudflare API endpoint URL " и заменить его на тот который вам дадут ProxyMesh, после этого должно работать. -
попробую, спасибо за совет. А вы не в курсе как настраивать content dowloader ? он у меня есть и в крайнем случае я буду искать человека который бы его донастроил. Он перестал с этого донора цену парсить, слетела настройка какая то, немогу найти
-
Я смог бы посмотреть)
-
Понял, сейчас я проведу експеримент:
Переустановлю этот модуль на другой хостинг, если и там не заработает тогда к вам обращатся буду за донастойкой контент доунлоудера -
Актуальные фриланс-проекты в категории Python
AI Commenting Platform для TikTok и Instagram.Цель проекта Разработать систему, которая позволяет управлять большим количеством аккаунтов TikTok и Instagram и автоматически публиковать релевантные комментарии под выбранными видео с использованием ИИ. Основной функционал1. Управление аккаунтами Необходимо реализовать… AI и машинное обучение, Python ∙ 12 часов 46 минут назад ∙ 13 ставок |
Построить модель классификации клиентов1. Есть данные клиентов в Mongo/SQL (примерно 20 000 записей с сырыми данными). 2. Необходимо на их основе построить фичи и модель классификации клиентов на поведенческие группы. 3. Проект выполнить на Python. AI и машинное обучение, Python ∙ 2 дня 7 часов назад ∙ 33 ставки |
ИТ Автоматизация ведения VAT-отчетности
10 000 UAH
Необходимо разработать систему для автоматизации переноса данных о продажах из CRM в бухгалтерскую систему Wafeq. Система должна импортировать банковские и платежные отчеты, автоматически сверять платежи с инвойсами, формировать инвойсы для VAT-отчетности и минимизировать ручную… AI и машинное обучение, Python ∙ 2 дня 12 часов назад ∙ 44 ставки |
Инструмент сверки счетов с банком, картами и бухгалтеромТехническое задание: инструмент сверки счетов с банком, картами и бухгалтеромОбщая цель Нужен локальный инструмент (скрипт/небольшое приложение на Python), который запускается вручную раз в 1-2 месяца на моём компьютере и делает сверку между: Счетами, которые я выставил клиентам… Python, Десктопные приложения ∙ 3 дня назад ∙ 42 ставки |
Автоматическая публикация видео в социальные сети по расписаниюТехническое задание (ТЗ) Автоматическая публикация видео в социальные сети по расписаниюОписание проекта Нужен скрипт/бот (Python предпочтительно, либо любое другое решение на ваш выбор — главное стабильность и простота поддержки), который автоматически публикует видео из папки… Python, Разработка ботов ∙ 3 дня 12 часов назад ∙ 59 ставок |
Харьков