Парсер OLX.ua
Асинхронный парсер объявлений с OLX.ua API.
Технологии: Python 3.7+, aiohttp для асинхронных HTTP-запросов, openpyxl для экспорта данных.
Ключевые решения:
- Асинхронная архитектура на asyncio для параллельной обработки запросов
- Автоматическое форматирование Excel с фиксированными размерами ячеек
- Ограничение скорости через случайные задержки (3-6 сек) для обхода блокировок
- Инкрементальное сохранение данных каждые 2 страницы для предотвращения потери данных
Парсинг включает извлечение ID, заголовков, цен, геолокации, фото и метаданных продавцов.
#Репозиторий: https://github.com/fedyaqq34356/olx.ua-parser.git
Технологии: Python 3.7+, aiohttp для асинхронных HTTP-запросов, openpyxl для экспорта данных.
Ключевые решения:
- Асинхронная архитектура на asyncio для параллельной обработки запросов
- Автоматическое форматирование Excel с фиксированными размерами ячеек
- Ограничение скорости через случайные задержки (3-6 сек) для обхода блокировок
- Инкрементальное сохранение данных каждые 2 страницы для предотвращения потери данных
Парсинг включает извлечение ID, заголовков, цен, геолокации, фото и метаданных продавцов.
#Репозиторий: https://github.com/fedyaqq34356/olx.ua-parser.git