ebay скрейпінг
Асинхронний скрейпер для ноутбуків на eBay, створений на базі Python, Playwright, SQLite та API Google Sheets.
Цей проєкт автоматично збирає дані про ноутбуки з eBay, використовуючи динамічне відтворення сторінок через проксі-API Scrape.do. Скрейпер витягує детальну інформацію про товари, таку як назва, ціна, стан, вартість доставки, місцезнаходження продавця, кількість проданих одиниць, відгуки про продавця, статус відремонтованого товару та URL-адресу товару.
Функції:
- Асинхронний скрейпінг за допомогою Playwright
- Динамічне рендеринг JavaScript
- Інтеграція проксі-API
- Автоматична обробка пагінації
- База даних SQLite для відстеження прогресу сторінки
- Автоматизація експорту в Google Sheets
- Продовження скрейпінгу з збереженої сторінки
- Витяг структурованих даних про товар
Технологічний стек:
- Python
- Playwright
- AsyncIO
- Requests
- SQLite
- API Google Sheets
- gspread
- dotenv
Робочий процес:
1. Завантаження змінних середовища
2. Ініціалізація бази даних SQLite
3. Завантаження відтворених сторінок eBay через Scrape.do
4. Аналіз карток товарів
5. Витяг даних про товари
6. Збереження товарів у Google Sheets
7. Збереження поточного прогресу сторінки
8. Продовження до повного скрейпінгу всіх сторінок
Проєкт призначений для масштабованих завдань скрейпінгу та автоматизації в електронній комерції.
Цей проєкт автоматично збирає дані про ноутбуки з eBay, використовуючи динамічне відтворення сторінок через проксі-API Scrape.do. Скрейпер витягує детальну інформацію про товари, таку як назва, ціна, стан, вартість доставки, місцезнаходження продавця, кількість проданих одиниць, відгуки про продавця, статус відремонтованого товару та URL-адресу товару.
Функції:
- Асинхронний скрейпінг за допомогою Playwright
- Динамічне рендеринг JavaScript
- Інтеграція проксі-API
- Автоматична обробка пагінації
- База даних SQLite для відстеження прогресу сторінки
- Автоматизація експорту в Google Sheets
- Продовження скрейпінгу з збереженої сторінки
- Витяг структурованих даних про товар
Технологічний стек:
- Python
- Playwright
- AsyncIO
- Requests
- SQLite
- API Google Sheets
- gspread
- dotenv
Робочий процес:
1. Завантаження змінних середовища
2. Ініціалізація бази даних SQLite
3. Завантаження відтворених сторінок eBay через Scrape.do
4. Аналіз карток товарів
5. Витяг даних про товари
6. Збереження товарів у Google Sheets
7. Збереження поточного прогресу сторінки
8. Продовження до повного скрейпінгу всіх сторінок
Проєкт призначений для масштабованих завдань скрейпінгу та автоматизації в електронній комерції.