OLX Scraper

#scrapy #olx #python3 #parser #scraper #spider

Парсер требует установленного Scrapy (что это такое и с чем его едят - google.com).
Указываем ссылку на категорию, можно с любыми фильтрами, главное дать ссылку, на которой будут объявления, дальше происходит быстрый многопоточный парсинг. Если смущает, что каких-то 120 товаров парсило почти минуту, то это всё из-за парсинга номера, там свои заморочки, но зато всё же берёт номер и не блокируют (я запускал этот парсер может раз 30 без проксей, не забанили до сих пор)
Что парсит этот парсер:
- Название объявления
- Имя продавца
- Описание товара/услуги
- ID товара/услуги
- Местонахождение
- Номер телефона
- Цена
- Время публикации
- Ссылка
- Кол-во просмотров