Парсинг меню ресторанів з сайтів типу UberEats на наш сайт на WP

Бюджет: 500 UAH Термін: 1 день

Привіт!

Мене зацікавив Ваш проект, маю великий досвід в асинхронному/багатопоточному парсингу з використанням проксі (Requests, Websockets, AioHTTP, HTTPX, BS4) та емуляції дій користувача (Selenium/Playwright).

Також використовую свій власний пул проксі для безперешкодного парсингу.

Зв'яжіться зі мною для обговорення деталей та термінів виконання цього проекту!
Вартість обговорюється індивідуально.

Бюджет: 10000 UAH Термін: 10 днів

Скиньте що треба отримати, для прикладу зроблю, подивіться і далі обговоримо. Дякую. Теж Puppeteer. Вартість обговоримо якщо влаштує.

Бюджет: 20000 UAH Термін: 20 днів

Доброго дня готовий зайнятись вашим цікавим проектом .
Для вирішення завдання парсингу меню з сайтів Doordash та UberEats, враховуючи, що вони блокують стандартні методи.

Ось приклад алгоритму, який можна використати:

1. Headless браузер (наприклад, Puppeteer або Playwright):

Ці інструменти емулюють дії користувача, завантажуючи сторінки з фронтендом та контентом. Це дозволяє обходити блокування, які використовуються для захисту від ботів (наприклад, динамічне підвантаження контенту через JavaScript).

2. Алгоритм парсингу:

Крок 1: Завантажте сторінку ресторану за допомогою Puppeteer/Playwright. Це дозволяє дочекатися повного завантаження всіх елементів, включаючи меню, яке може динамічно підвантажуватися.

Зібрати дані про ресторан (назва, адреса тощо) за допомогою селекторів DOM.

Витягти меню (назви страв, ціни, категорії страв та описи). Це можна зробити, аналізуючи структуру HTML сторінки, тому що на цих сайтах меню зазвичай динамічно підвантажується через JavaScript.

Перетворити дані в потрібний формат JSON, який ви надасте !!!!

Зберегти результати локально або надіслати їх на ваш сервер.

3. Оптимізація та паралелізація:

Оскільки йдеться про 50 000 ресторанів, процес потрібно зробити паралельним (наприклад, запускати кілька сесій Puppeteer/Playwright одночасно).

Важливо контролювати кількість запитів за секунду, щоб уникнути блокування IP. Також можна використовувати проксі-сервер для розподілу навантаження та маскування запитів.

4. Проблеми, які можуть виникнути:

Блокування CAPTCHA або Rate Limiting на рівні сайту, які можуть з'являтися після кількох запитів одного IP.

У сайтів може змінюватися структура HTML, що може вимагати адаптації парсера.

5. Додаткові технології:

Обхід CAPTCHAs: можна використовувати такі сервіси як 2Captcha, щоб автоматично вирішувати CAPTCHA, якщо вона з'явиться.

Використання проксі: для зниження ризику блокування облікового запису та для розподілу навантаження на парсинг можна використовувати динамічні або ротаційні проксі. Розгорнути