Олекс Скрапер

#scrapy #olx #python3 #parser #scraper #spider

Парсер вимагає встановленого Scrapy (що це таке і з чим його їдять – google.com).
Вказуємо посилання на категорію, можна з будь-якими фільтрами, головне дати посилання, де будуть оголошення, далі відбувається швидкий багатопоточний парсинг. Якщо бентежить, що якихось 120 товарів парсіло майже хвилину, то це все через парсинг номери, там свої заморочки, але зате все ж таки бере номер і не блокують (я запускав цей парсер може разів 30 без проксей, не забанили досі пір)
Що парсить цей парсер:
- Назва оголошення
- Ім'я продавця
- Опис товару/послуги
- ID товару/послуги
- місцезнаходження
- Номер телефону
- Ціна
- час публікації
- Посилання
- Кількість переглядів