Парсинг меню ресторанов с сайтов по типу UberEats на наш сайт на WP

Бюджет: 500 UAH Срок: 1 день

Здравствуйте!

Заинтересовал Ваш проект, имею большой опыт в асинхронном/многопоточном парсинге с использованием прокси (Requests, Websockets, AioHTTP, HTTPX, BS4) и эмуляции действий пользователя (Selenium/Playwright).

Также использую свой собственный пул прокси для беспрепятственного парсинга.

Свяжитесь со мной для обсуждения деталей и сроков выполнения данного проекта!
Стоимость обсуждается индивидуально.

Бюджет: 10000 UAH Срок: 10 дней

Скиньте что надо получить, для примера сделаю, посмотрите и дальше обсудим. Спасибо. Тоже Puppeteer. Стоимость обсудим если устроит.

Бюджет: 20000 UAH Срок: 20 дней

Добрый день, готов заняться вашим интересным проектом.
Для решения задачи парсинга меню с сайтов Doordash и UberEats, учитывая, что они блокируют стандартные методы.

Вот пример алгоритма, который можно использовать:

1. Headless браузер (например, Puppeteer или Playwright):

Эти инструменты эмулируют действия пользователя, загружая страницы с фронтендом и контентом. Это позволяет обходить блокировки, которые используются для защиты от ботов (например, динамическая подгрузка контента через JavaScript).

2. Алгоритм парсинга:

Шаг 1: Загрузите страницу ресторана с помощью Puppeteer/Playwright. Это позволяет дождаться полного загрузки всех элементов, включая меню, которое может динамически подгружаться.

Собрать данные о ресторане (название, адрес и т.д.) с помощью селекторов DOM.

Извлечь меню (названия блюд, цены, категории блюд и описания). Это можно сделать, анализируя структуру HTML страницы, так как на этих сайтах меню обычно динамически подгружается через JavaScript.

Преобразовать данные в нужный формат JSON, который вы предоставите !!!!

Сохранить результаты локально или отправить их на ваш сервер.

3. Оптимизация и параллелизация:

Поскольку речь идет о 50 000 ресторанах, процесс нужно сделать параллельным (например, запускать несколько сессий Puppeteer/Playwright одновременно).

Важно контролировать количество запросов в секунду, чтобы избежать блокировки IP. Также можно использовать прокси-сервер для распределения нагрузки и маскировки запросов.

4. Проблемы, которые могут возникнуть:

Блокировка CAPTCHA или Rate Limiting на уровне сайта, которые могут появляться после нескольких запросов с одного IP.

У сайтов может изменяться структура HTML, что может потребовать адаптации парсера.

5. Дополнительные технологии:

Обход CAPTCHAs: можно использовать такие сервисы как 2Captcha, чтобы автоматически решать CAPTCHA, если она появится.

Использование прокси: для снижения риска блокировки аккаунта и для распределения нагрузки на парсинг можно использовать динамические или ротационные прокси. Развернуть