Optymalizować parsowanie

Budżet: 2000 UAH Termin: 1 dzień

Cześć!

Przejrzałem kod — problem jest zrozumiały.

Google Sheets zatrzymuje się z powodu limitu szybkości API: update_full_statistics
jest wywoływane przy każdym nowym wierszu i wykonuje 20+ zapytań pod rząd.
Google pozwala na ~60 zapytań/minutę — stąd zatrzymania.

Co zrobię:
1. Grupowanie zapytań do Sheets — gromadzę wiersze, zapisuję raz na N sekund
2. SQLite jako główne lokalne przechowywanie (zamiast CSV)
3. Sheets aktualizuje się asynchronicznie, nie blokując parsowania
4. Praca 24/7 bez zatrzymań

Jestem gotowy, aby zacząć teraz. Rozwiń

Budżet: 700 UAH Termin: 1 dzień

Witaj. Przejrzałem skrypt - problem leży w Google Sheets API (limit 429) oraz braku automatycznego restartu Selenium przy awarii. Dodam SQLite jako główne magazyn, zapis wsadowy do Sheets i pętlę watchdog - wszystko za 700 zł, zrobię to dzisiaj.

Budżet: 1000 UAH Termin: 1 dzień

Cześć.

Mam doświadczenie z arkuszami Google. Mogę napisać dla Ciebie skrypt. Napisz, porozmawiamy.

Budżet: 1000 UAH Termin: 1 dzień

Witam. Mam duże doświadczenie z Pythonem. Jestem gotów zmienić sposób przechowywania danych na SQLite.

Budżet: 700 UAH Termin: 1 dzień

Ponieważ Google Sheets ma limity na zapis, proponuję pisać do lokalnego pliku lub SQLITE.

Jestem gotów przepisać skrypt już teraz.

Budżet: 700 UAH Termin: 7 dni

Cześć, pracowałem nad optymalizacją parsowania dla platformy e-commerce z ponad 50 000 produktami dziennie - zmniejszyłem czas przetwarzania o 70% i wdrożyłem stabilne przechowywanie w SQLite.

Dlaczego teraz następuje zatrzymanie Google Sheets - z powodu limitów API czy dużej ilości danych?

Proponuję się skontaktować, bezpłatnie doradzę Ci z technicznej strony i stworzymy plan rozwoju + opowiem o moim zespole!

Budżet: 700 UAH Termin: 3 dni

Cześć Alex!
Piszę parser w pythonie.
Mogę ci w tym pomóc.

Budżet: 1000 UAH Termin: 2 dni

Dzień dobry!
Przejrzałem zadanie — problem nie leży w parsowaniu, a w architekturze: w kodzie zbyt częste odwołania do Google Sheets (kilka zapytań API co kilka sekund), przez co włączają się limity i system się zatrzymuje.
Mogę to naprawić:
zrobić buforowanie zapisów
przenieść główne przechowywanie do SQLite/CSV
zostawić Google Sheets tylko do okresowej synchronizacji
ustawić stabilną pracę 24/7 bez zawieszeń
Jestem gotów zrealizować to szybko i uczynić system niezawodnym. Możemy omówić szczegóły.

Budżet: 700 UAH Termin: 1 dzień

Dzień dobry! Jestem gotów zoptymalizować twoje parsowanie pod stabilną pracę 24/7. Rozwiążę problem z Google Sheets (zatrzymania/limity) — albo zoptymalizuję zapis przez batching i cache, albo przeniosę zapis na plik/SQLite dla maksymalnej niezawodności. Skonfiguruję efektywny pipeline zbierania danych z obsługą błędów, logowaniem i automatycznym restartem przy awariach. W rezultacie otrzymasz stabilny system bez utraty danych, który działa nieprzerwanie. Mogę również zaproponować skalowanie pod duże wolumeny. Jestem gotów omówić szczegóły i od razu przystąpić do pracy.

Budżet: 700 UAH Termin: 1 dzień

Witam! Problem z zatrzymywaniem Google Sheets podczas parsowania 24/7 jest mi dobrze znany — jest to wynikiem przekroczenia limitów (Rate Limits) oraz niestabilności sieci. Jestem gotów zoptymalizować twoje oprogramowanie, czyniąc je naprawdę autonomicznym.

Budżet: 700 UAH Termin: 1 dzień

Dzień dobry!

Problem jest zrozumiały — przeciążenie Google Sheets i brak buforowania danych, przez co system jest niestabilny 24/7.

Mogę rozwiązać:

SQLite lub bufor plikowy zamiast stałych zapisów
wysyłanie wsadowe do Google Sheets w celu zmniejszenia obciążenia
kolejka danych między parsowaniem a zapisem
optymalizacja przeliczenia statystyk
auto-restart Selenium przy awariach

Mam doświadczenie z Selenium oraz zadaniami związanymi z parsowaniem/automatyzacją.
CV mogę dostarczyć w razie potrzeby. Rozwiń

Budżet: 2000 UAH Termin: 1 dzień

Cześć! Jestem indywidualnym deweloperem z 4-letnim doświadczeniem w automatyzacji (n8n, Python) oraz pracy z dużymi danymi, dlatego zoptymalizuję twoje parsowanie, przenosząc je z niestabilnych Google Sheets na odporną architekturę z wykorzystaniem SQLite lub lokalnego przechowywania w plikach. Rozwiążę problem z zatrzymywaniem się z powodu limitów API, skonfiguruję rotację logów i zapewnię stabilną pracę 24/7 na VPS za pomocą PM2 lub Dockera, aby procesy nie były przerywane; pracuję przez FOP i jestem gotów opracować niezawodny schemat przechowywania danych już dziś. Moje prace: https://3magency.co/, https://jk-solution.com.ua/, https://farfieworldwide.com/, Behance.

Budżet: 2000 UAH Termin: 1 dzień

Witam. Twój obecny skrypt zatrzymuje się, ponieważ używa Google Sheets niezgodnie z przeznaczeniem: przy każdej aktualizacji próbuje przeliczyć całą tablicę danych, napotykając na limity czasowe i sztywne limity API. Aby zapewnić stabilną pracę 24/7, zmieniam logikę przechowywania. Całą ciężką historię parsowania przeniosę do lekkiej lokalnej bazy danych, aby odblokować działanie Selenium, a do Google Sheets będę przesyłać wyłącznie zaktualizowaną statystykę oraz mały wycinek ostatnich gier wyłącznie w celach wizualizacji. To całkowicie zdejmuje zbędne obciążenie z sieci, skrypt przestanie wieszać się w oczekiwaniu na odpowiedź od Google i będzie działał autonomicznie. Jestem gotów szybko wdrożyć tę architekturę bez całkowitego przepisywania Twojego głównego kodu.

Budżet: 700 UAH Termin: 1 dzień

Cześć. Przyjrzałem się zadaniu i samemu podejściu, które wydaje mi się dość zrozumiałe: problem prawdopodobnie nie dotyczy tylko parsowania, ale także powiązania z Google Sheets i przechowywaniem danych. Mogę szybko przeanalizować obecną logikę, usunąć wąskie gardło i doprowadzić to do bardziej stabilnego schematu, aby działało normalnie 24/7. Jeśli w kodzie okaże się, że lepiej przenieść przechowywanie do SQLite lub pliku, również to zrobię bez zbędnego komplikowania.

Budżet: 2000 UAH Termin: 2 dni

Cześć.

Jestem gotów zająć się optymalizacją. Mam doświadczenie z parserami, które powinny działać stabilnie 24/7, a w takich zadaniach zazwyczaj najpierw eliminuję wąskie gardła w architekturze, a nie tylko „dostosowuję czasy”.

Z twojego obecnego skryptu już widać, że problem prawdopodobnie nie leży tylko w samym parsowaniu, ale w połączeniu Selenium + ciągłe zapisy/aktualizacje w Google Sheets + przeliczanie statystyk na bieżąco. W takiej formie rzeczywiście może to się zatrzymywać lub degradować z czasem.

Co mogę zaproponować:
— przenieść zapis do lokalnej SQLite / pliku jako główne źródło;
— wydzielić Google Sheets do osobnej synchronizacji partiami, a nie w krytycznym strumieniu;
— ustabilizować cykl pracy 24/7;
— w razie potrzeby uprościć/przepisać problematyczną część, aby rozwiązanie było bardziej niezawodne.

Mogę szybko przyjrzeć się obecnej realizacji i zaproponować normalną wersję roboczą bez zbędnego komplikowania. Rozwiń

Budżet: 750 UAH Termin: 1 dzień

Witam.

Przejrzałem twój skrypt i widzę, że problem nie leży tylko w parsowaniu. W obecnej pętli skrypt jednocześnie odczytuje tabelę Historia, zapisuje nowe wiersze w Google Sheets, następnie ponownie odczytuje Wyniki w celu kontroli objętości i osobno przelicza całą statystykę z historii. Z powodu takiego schematu proces zaczyna napotykać na częste zapytania do Sheets API i staje się niestabilny przy długotrwałej pracy.

Podszedłbym do tego jako do zadania na stabilizację trybu 24/7: najpierw znaleźć wąskie gardło w łańcuchu parsowanie → zapisywanie → aktualizacja statystyki, następnie starannie oddzielić gorącą pętlę i aktualizacje w tle, aby skrypt nie zatrzymywał się podczas długiego przebiegu. Osobno sprawdzę, co dokładnie generuje największe obciążenie — zapis do tabeli, przycinanie starych wierszy czy pełne przeliczenie statystyki.

Problem już widzę i mogę zaproponować działające rozwiązanie bez zbędnego przepisywania całego projektu.

Budżet: 3999 UAH Termin: 1 dzień

Witaj! Jestem gotów zrealizować ten projekt, mam duże doświadczenie w tworzeniu różnych aplikacji.

Budżet: 777 UAH Termin: 1 dzień

Przejrzałem kod, zrobię to łatwo. Zrobię to od razu.

Budżet: 1000 UAH Termin: 1 dzień

Witam. Kod przejrzałem, widzę miejsca, gdzie można poprawić. Będę zadowolony, aby pomóc, proszę się zgłaszać.

Budżet: 1000 UAH Termin: 1 dzień

Dzień dobry!
Mam doświadczenie w optymalizacji parserów, pracy z Google Sheets, plikami i SQLite, a także w przenoszeniu podobnych procesów na bardziej stabilne przechowywanie danych dla ciągłej pracy.
Zajmowałem się zadaniami, gdzie trzeba było usunąć przestoje, zmniejszyć obciążenie Google Sheets i zbudować bardziej niezawodny schemat przechowywania z myślą o ciągłej pracy 24/7.
Proponuję omówić szczegóły, a także koszt i terminy w wiadomościach prywatnych.

Budżet: 700 UAH Termin: 1 dzień

Witam! Widzę problemy z zawieszaniem się z powodu częstych zapytań do Google Sheets oraz przeciążonego parsowania Selenium (powtarzające się wyszukiwania elementów, sleep, przetwarzanie stale-elementów), dlatego proponuję zoptymalizować zbieranie danych (oczekiwanie przez WebDriverWait, zmniejszenie zapytań do DOM), dodać buforowanie oraz zapytania wsadowe dla Sheets lub przenieść zapis do SQLite/pliku, co znacznie zwiększy szybkość i stabilność pracy.

Budżet: 700 UAH Termin: 1 dzień

Zrobię to w js lub kotlin, zainstalujemy na vps i będzie działać 24/7. Jeśli dołączony skrypt już działa, to można go zainstalować na vps.

Budżet: 700 UAH Termin: 1 dzień

Witam, zrobię wszystko szybko i jakościowo, robię najlepsze parsery, cena 500 zł.

Budżet: 700 UAH Termin: 1 dzień

Mam doświadczenie z parserami. Jestem gotów w prywatnych wiadomościach zaproponować rozwiązania oraz poprawić/przepisać Twój kod. Poprawki i prace nad Twoim skryptem są bezpłatne. Szybko i niedrogo. Czekam na naszą współpracę.

Budżet: 1000 UAH Termin: 1 dzień

Dzień dobry. Mam duże doświadczenie w parsowaniu i zapisywaniu arkuszy Google, a także różnych baz danych. Potrzebny jest bardziej szczegółowy opis błędów lub tego, co dokładnie należy zbierać. Sądząc po skrypcie, parsowanie po tagach HTML, samo w sobie nie jest stabilne. W tabeli można jednym zapisem wpisać od razu wiele danych, aby obejść limity. Skontaktuj się, omówimy. Cena i termin są orientacyjne.

Budżet: 1000 UAH Termin: 1 dzień

Witam!
Przepiszę twój skrypt pod twoje potrzeby.
Skontaktuj się ze mną w sprawie szczegółów na prywatnej wiadomości.

Budżet: 700 UAH Termin: 3 dni

Dzień dobry!
Jestem gotów zoptymalizować twój parsing. Rozwiążę problem z zatrzymaniami w Google Sheets lub zaproponuję alternatywne przechowywanie danych w pliku/SQLite, zapewniając stabilną pracę 24/7. Mam duże doświadczenie z API, Google Sheets i bazami danych.

Napisz do mnie, omówimy szczegóły.

Budżet: 700 UAH Termin: 3 dni

Witaj! Twój projekt wygląda bardzo interesująco. Jestem gotów rozpocząć pracę natychmiast i zapewnić wysoką jakość.

Budżet: 700 UAH Termin: 14 dni

Możemy zoptymalizować twoje parsowanie do stałej pracy 24/7. Jesteśmy gotowi zaproponować kilka rozwiązań: przenieść przechowywanie danych z Google Sheets do lokalnego pliku lub SQLite — to usunie problem zatrzymywania skryptów i znacznie zwiększy stabilność. Również skonfigurujemy automatyczne przywracanie pracy parsera w przypadku błędów, monitorowanie i logowanie. Wszystkie procesy będą działać na oddzielnym serwerze pod nadzorem systemu nieprzerwanego monitorowania. Jesteśmy gotowi wziąć to na siebie jako kompleksową obsługę.