Parser OLX.ua
Asynchroniczny parser ogłoszeń z API OLX.ua.
Technologie: Python 3.7+, aiohttp do asynchronicznych zapytań HTTP, openpyxl do eksportu danych.
Kluczowe rozwiązania:
- Asynchroniczna architektura na asyncio do równoległego przetwarzania zapytań
- Automatyczne formatowanie Excela z ustalonymi rozmiarami komórek
- Ograniczanie liczby zapytań poprzez losowe opóźnienia (3-6 sek) w celu obejścia blokad
- Inkrementalne zapisywanie danych co 2 strony w celu zapobiegania utracie danych
Parsowanie obejmuje wyodrębnianie ID, tytułów, cen, geolokalizacji, zdjęć i metadanych sprzedawców.
#Repozytorium: https://github.com/fedyaqq34356/olx.ua-parser.git
Technologie: Python 3.7+, aiohttp do asynchronicznych zapytań HTTP, openpyxl do eksportu danych.
Kluczowe rozwiązania:
- Asynchroniczna architektura na asyncio do równoległego przetwarzania zapytań
- Automatyczne formatowanie Excela z ustalonymi rozmiarami komórek
- Ograniczanie liczby zapytań poprzez losowe opóźnienia (3-6 sek) w celu obejścia blokad
- Inkrementalne zapisywanie danych co 2 strony w celu zapobiegania utracie danych
Parsowanie obejmuje wyodrębnianie ID, tytułów, cen, geolokalizacji, zdjęć i metadanych sprzedawców.
#Repozytorium: https://github.com/fedyaqq34356/olx.ua-parser.git