Асинхронний парсер товарів з azi.ua (Python, SQLite)
Розроблено асинхронний парсер для збору товарів з інтернет-магазину azi.ua з автоматичним збереженням даних у SQLite базу.
Проект побудований на асинхронній архітектурі, що дозволяє ефективно обробляти велику кількість сторінок та зменшувати навантаження на сервер.
Функціонал
асинхронний збір даних (aiohttp + asyncio)
автоматичний обхід категорій та сторінок
контроль навантаження на сервер (Semaphore)
парсинг назв та цін товарів
збереження даних у SQLite базу
захист від дублікатів записів
Результат
структурована SQLite база даних
дані розбиті по категоріях
готово для аналізу або подальшої обробки
Технології
Python, aiohttp, asyncio, BeautifulSoup, SQLite
Використання
аналіз ринку
моніторинг цін
збір даних для магазинів
автоматизація парсингу
#python #парсинг #scraping #aiohttp #sqlite #automation #data
Проект побудований на асинхронній архітектурі, що дозволяє ефективно обробляти велику кількість сторінок та зменшувати навантаження на сервер.
Функціонал
асинхронний збір даних (aiohttp + asyncio)
автоматичний обхід категорій та сторінок
контроль навантаження на сервер (Semaphore)
парсинг назв та цін товарів
збереження даних у SQLite базу
захист від дублікатів записів
Результат
структурована SQLite база даних
дані розбиті по категоріях
готово для аналізу або подальшої обробки
Технології
Python, aiohttp, asyncio, BeautifulSoup, SQLite
Використання
аналіз ринку
моніторинг цін
збір даних для магазинів
автоматизація парсингу
#python #парсинг #scraping #aiohttp #sqlite #automation #data