Rozetka skreping
Niezawodny web scraper, gotowy do użycia w środowisku produkcyjnym, przeznaczony do wydobywania danych o laptopach z największej ukraińskiej platformy e-commerce (Rozetka.ua), z automatyczną synchronizacją w chmurze i zaawansowanym omijaniem systemów antybotowych.
Kluczowe cechy techniczne:
Cloudflare i omijanie botów: Na bazie Playwright i playwright-stealth do symulacji rzeczywistego zachowania człowieka, co pozwala na skuteczne omijanie surowych systemów antybotowych i captcha Turnstile.
Architektura odporna na awarie: Zintegrowana z bazą danych SQLite do śledzenia postępu skanowania strona po stronie. Jeśli skrypt zostanie przerwany lub ulegnie awarii, automatycznie wznawia pracę z tej samej ostatniej strony.
Automatyczna synchronizacja z chmurą: Bezpośrednia integracja z API Google Sheets (gspread) do przesyłania i formatowania danych w czasie rzeczywistym.
Inteligentne filtrowanie: Wstępnie skonfigurowane filtry backendu (SSD 1 TB, cena < 25 000 UAH, konkretne wiodące marki).
Stos technologiczny: Python 3.10+, Playwright, Playwright-Stealth, SQLite, API Google Sheets.
Ten projekt demonstruje klarowną architekturę kodu, prawidłową integrację API, śledzenie stanu bazy danych oraz profesjonalne umiejętności automatyzacji webowej.
Kluczowe cechy techniczne:
Cloudflare i omijanie botów: Na bazie Playwright i playwright-stealth do symulacji rzeczywistego zachowania człowieka, co pozwala na skuteczne omijanie surowych systemów antybotowych i captcha Turnstile.
Architektura odporna na awarie: Zintegrowana z bazą danych SQLite do śledzenia postępu skanowania strona po stronie. Jeśli skrypt zostanie przerwany lub ulegnie awarii, automatycznie wznawia pracę z tej samej ostatniej strony.
Automatyczna synchronizacja z chmurą: Bezpośrednia integracja z API Google Sheets (gspread) do przesyłania i formatowania danych w czasie rzeczywistym.
Inteligentne filtrowanie: Wstępnie skonfigurowane filtry backendu (SSD 1 TB, cena < 25 000 UAH, konkretne wiodące marki).
Stos technologiczny: Python 3.10+, Playwright, Playwright-Stealth, SQLite, API Google Sheets.
Ten projekt demonstruje klarowną architekturę kodu, prawidłową integrację API, śledzenie stanu bazy danych oraz profesjonalne umiejętności automatyzacji webowej.