Rozetka скрейпінг
Надійний веб-скрейпер, готовий до використання у виробничому середовищі, призначений для вилучення даних про ноутбуки з найбільшої української платформи електронної комерції (Rozetka.ua), з автоматичною синхронізацією у хмарі та вдосконаленим обходом антибот-систем.
Ключові технічні особливості:
Cloudflare та обхід ботів: На базі Playwright та playwright-stealth для імітації реальної поведінки людини, що дозволяє успішно обходити суворі антибот-системи та капчі Turnstile.
Відмовостійка архітектура: Інтегрована з базою даних SQLite для відстеження прогресу скрейпінгу сторінка за сторінкою. Якщо скрипт переривається або виходить з ладу, він автоматично відновлює роботу з тієї самої останньої сторінки.
Автоматична синхронізація з хмарою: Пряма інтеграція з API Google Sheets (gspread) для вивантаження та форматування даних у реальному часі.
Розумна фільтрація: Попередньо налаштовані фільтри бекенду (SSD 1 ТБ, ціна < 25 000 грн, конкретні провідні бренди).
Технологічний стек: Python 3.10+, Playwright, Playwright-Stealth, SQLite, API Google Sheets.
Цей проект демонструє чітку архітектуру коду, правильну інтеграцію API, відстеження стану бази даних та професійні навички веб-автоматизації.
Ключові технічні особливості:
Cloudflare та обхід ботів: На базі Playwright та playwright-stealth для імітації реальної поведінки людини, що дозволяє успішно обходити суворі антибот-системи та капчі Turnstile.
Відмовостійка архітектура: Інтегрована з базою даних SQLite для відстеження прогресу скрейпінгу сторінка за сторінкою. Якщо скрипт переривається або виходить з ладу, він автоматично відновлює роботу з тієї самої останньої сторінки.
Автоматична синхронізація з хмарою: Пряма інтеграція з API Google Sheets (gspread) для вивантаження та форматування даних у реальному часі.
Розумна фільтрація: Попередньо налаштовані фільтри бекенду (SSD 1 ТБ, ціна < 25 000 грн, конкретні провідні бренди).
Технологічний стек: Python 3.10+, Playwright, Playwright-Stealth, SQLite, API Google Sheets.
Цей проект демонструє чітку архітектуру коду, правильну інтеграцію API, відстеження стану бази даних та професійні навички веб-автоматизації.