skanowanie eBay
Asynchroniczny skryper dla laptopów na eBay, stworzony na bazie Pythona, Playwright, SQLite i API Google Sheets.
Ten projekt automatycznie zbiera dane o laptopach z eBay, wykorzystując dynamiczne renderowanie stron przez proxy-API Scrape.do. Skryper wyciąga szczegółowe informacje o produktach, takie jak nazwa, cena, stan, koszt wysyłki, lokalizacja sprzedawcy, liczba sprzedanych sztuk, opinie o sprzedawcy, status odnowionego produktu oraz adres URL produktu.
Funkcje:
- Asynchroniczne skanowanie za pomocą Playwright
- Dynamiczne renderowanie JavaScript
- Integracja proxy-API
- Automatyczne przetwarzanie paginacji
- Baza danych SQLite do śledzenia postępu strony
- Automatyzacja eksportu do Google Sheets
- Kontynuacja skanowania z zapisanej strony
- Wyciąganie ustrukturyzowanych danych o produkcie
Stos technologiczny:
- Python
- Playwright
- AsyncIO
- Requests
- SQLite
- API Google Sheets
- gspread
- dotenv
Workflow:
1. Ładowanie zmiennych środowiskowych
2. Inicjalizacja bazy danych SQLite
3. Ładowanie renderowanych stron eBay przez Scrape.do
4. Analiza kart produktów
5. Wyciąganie danych o produktach
6. Zapis produktów w Google Sheets
7. Zapis bieżącego postępu strony
8. Kontynuacja do pełnego skanowania wszystkich stron
Projekt przeznaczony jest do skalowalnych zadań skanowania i automatyzacji w e-commerce.
Ten projekt automatycznie zbiera dane o laptopach z eBay, wykorzystując dynamiczne renderowanie stron przez proxy-API Scrape.do. Skryper wyciąga szczegółowe informacje o produktach, takie jak nazwa, cena, stan, koszt wysyłki, lokalizacja sprzedawcy, liczba sprzedanych sztuk, opinie o sprzedawcy, status odnowionego produktu oraz adres URL produktu.
Funkcje:
- Asynchroniczne skanowanie za pomocą Playwright
- Dynamiczne renderowanie JavaScript
- Integracja proxy-API
- Automatyczne przetwarzanie paginacji
- Baza danych SQLite do śledzenia postępu strony
- Automatyzacja eksportu do Google Sheets
- Kontynuacja skanowania z zapisanej strony
- Wyciąganie ustrukturyzowanych danych o produkcie
Stos technologiczny:
- Python
- Playwright
- AsyncIO
- Requests
- SQLite
- API Google Sheets
- gspread
- dotenv
Workflow:
1. Ładowanie zmiennych środowiskowych
2. Inicjalizacja bazy danych SQLite
3. Ładowanie renderowanych stron eBay przez Scrape.do
4. Analiza kart produktów
5. Wyciąganie danych o produktach
6. Zapis produktów w Google Sheets
7. Zapis bieżącego postępu strony
8. Kontynuacja do pełnego skanowania wszystkich stron
Projekt przeznaczony jest do skalowalnych zadań skanowania i automatyzacji w e-commerce.