скрейпинг ebay

Асинхронный скрейпер для ноутбуков на eBay, созданный на базе Python, Playwright, SQLite и API Google Sheets.

Этот проект автоматически собирает данные о ноутбуках с eBay, используя динамическое воспроизведение страниц через прокси-API Scrape.do. Скрейпер извлекает детальную информацию о товарах, такую как название, цена, состояние, стоимость доставки, местоположение продавца, количество проданных единиц, отзывы о продавце, статус отремонтированного товара и URL-адрес товара.

Функции:
- Асинхронный скрейпинг с помощью Playwright
- Динамическое рендеринг JavaScript
- Интеграция прокси-API
- Автоматическая обработка пагинации
- База данных SQLite для отслеживания прогресса страницы
- Автоматизация экспорта в Google Sheets
- Продолжение скрейпинга с сохраненной страницы
- Извлечение структурированных данных о товаре

Технологический стек:
- Python
- Playwright
- AsyncIO
- Requests
- SQLite
- API Google Sheets
- gspread
- dotenv

Рабочий процесс:
1. Загрузка переменных окружения
2. Инициализация базы данных SQLite
3. Загрузка воспроизведенных страниц eBay через Scrape.do
4. Анализ карточек товаров
5. Извлечение данных о товарах
6. Сохранение товаров в Google Sheets
7. Сохранение текущего прогресса страницы
8. Продолжение до полного скрейпинга всех страниц

Проект предназначен для масштабируемых задач скрейпинга и автоматизации в электронной коммерции.