Opracowano asynchroniczny parser do zbierania produktów z internetowego sklepu azi.ua z automatycznym zapisywaniem danych w bazie SQLite.
Projekt zbudowany jest na asynchronicznej architekturze, co pozwala efektywnie przetwarzać dużą liczbę stron i zmniejszać obciążenie serwera.
Funkcjonalność
asynchroniczne zbieranie danych (aiohttp + asyncio)
automatyczne przeszukiwanie kategorii i stron
kontrola obciążenia serwera (Semaphore)
parsowanie nazw i cen produktów
zapisywanie danych w bazie SQLite
ochrona przed duplikatami rekordów
Wynik
ustrukturyzowana baza danych SQLite
dane podzielone według kategorii
gotowe do analizy lub dalszego przetwarzania
Technologie
Python, aiohttp, asyncio, BeautifulSoup, SQLite
Zastosowanie
analiza rynku
monitorowanie cen
zbieranie danych dla sklepów
automatyzacja parsowania
#python #parsowanie #scraping #aiohttp #sqlite #automatyzacja #dane
Projekt zbudowany jest na asynchronicznej architekturze, co pozwala efektywnie przetwarzać dużą liczbę stron i zmniejszać obciążenie serwera.
Funkcjonalność
asynchroniczne zbieranie danych (aiohttp + asyncio)
automatyczne przeszukiwanie kategorii i stron
kontrola obciążenia serwera (Semaphore)
parsowanie nazw i cen produktów
zapisywanie danych w bazie SQLite
ochrona przed duplikatami rekordów
Wynik
ustrukturyzowana baza danych SQLite
dane podzielone według kategorii
gotowe do analizy lub dalszego przetwarzania
Technologie
Python, aiohttp, asyncio, BeautifulSoup, SQLite
Zastosowanie
analiza rynku
monitorowanie cen
zbieranie danych dla sklepów
automatyzacja parsowania
#python #parsowanie #scraping #aiohttp #sqlite #automatyzacja #dane