Это задача на настройку антибан-обхода: прокси, заголовки, возможные антибот-защиты. При необходимости можно использовать headless-браузер (например, undetected_chromedriver), но пока не обязательно.

2. Что будет в решении:
– Один .py файл, который:

загружает страницу OLX через указанный прокси

подставляет рабочие User-Agent, куки (если нужно)

… логирует статус (например, успешный обход или 403)

3. Доступа к серверу не нужно — всё реализуем локально.

позже можно интегрировать этот обход в Ваш основной парсер

Добрый день! Заинтересовал проект с парсером для olx. Имею опыт в сфере парсинга данных и автоматизации с использованием различных библиотек. Смогу адаптировать ваш текущий Python скрипт для обхода блокировки, внести необходимые коррективы для эффективной работы без использования Selenium. У меня есть идеи по оптимизации запросов и смене параметров доступа, чтобы минимизировать риск бана.

Мой рейт 16$ в час. Предложу решение, которое можно будет запустить на вашем сервере для тестирования эффективности нового подхода.

Добрый день

Могу предложить техническое решение из 2 компонентов:
* прокси-сервис под Linux (объясню подробнее)
* настройка скрапера (рабочая логика не нужна, кроме пары моментов, которые я предложу проверить)

Показать оригинал

Перевести

Добрый день!
Ваш кейс хорошо понятен — блокировка OLX даже с прокси в последнее время значительно участилась, особенно при интенсивном парсинге.

🔧 Могу разработать .py файл, который:

работает через aiohttp + aiohttp_socks

автоматически ротує прокси из вашего proxie.json

… заменяет User-Agent, заголовки и другие следы (включая cookie, headers, referer)

максимально имитирует запросы обычного браузера (аналог браузерного fingerprint)

проверяет доступ к нужной ссылке

❗ Учитываю, что Selenium не используется, и запросов много. Настрою адаптивную задержку + поведенческую псевдослучайность, чтобы снизить риск блокировок.
💬 Если есть лог примера ответа от OLX (403/429 или др.), будет полезно для более точной настройки.

Готов предоставить .py для тестирования — только после того, как удостоверюсь в его работоспособности. Если работает — закрываем проект.

Пишите в ЛС — обсудим детали и подберем оптимальное решение для вашего парсера.

Показать оригинал

Перевести

So where is the technical assignment? This is a development from scratch if we consider that you said you won't provide the code.

Показать оригинал

Перевести

Привет! Мы - SolidWay компания, и мы готовы помочь с твоим проектом парсинга OLX. У нас есть опыт работы с Python, включая библиотеки, которые ты упоминал, так что мы можем найти решение для обхода блокировок, с которыми ты сталкиваешься.

Мы понимаем, что проблема с блокировкой может требовать креативных подходов к работе с прокси и user-agent, поэтому мы готовы испытать разные методы, чтобы обеспечить необходимую функциональность парсера. Наша команда уже реализовала подобные проекты, поэтому мы знаем, что делать.

Детали, связанные с сроками и бюджетом, мы обсудим после того, как уточним все нюансы твоего запроса. Так что, давай обсудим, как мы можем помочь в решении твоей задачи!

Показать оригинал

Перевести