Optymalizować parsowanie

Cześć Alex!
Piszę parser w pythonie.
Mogę ci w tym pomóc.

Pokaż oryginał

Przetłumacz

Dzień dobry!
Przejrzałem zadanie — problem nie leży w parsowaniu, a w architekturze: w kodzie zbyt częste odwołania do Google Sheets (kilka zapytań API co kilka sekund), przez co włączają się limity i system się zatrzymuje.
Mogę to naprawić:
zrobić buforowanie zapisów
przenieść główne przechowywanie do SQLite/CSV
zostawić Google Sheets tylko do okresowej synchronizacji
ustawić stabilną pracę 24/7 bez zawieszeń
Jestem gotów zrealizować to szybko i uczynić system niezawodnym. Możemy omówić szczegóły.

Pokaż oryginał

Przetłumacz

Dzień dobry! Jestem gotów zoptymalizować twoje parsowanie pod stabilną pracę 24/7. Rozwiążę problem z Google Sheets (zatrzymania/limity) — albo zoptymalizuję zapis przez batching i cache, albo przeniosę zapis na plik/SQLite dla maksymalnej niezawodności. Skonfiguruję efektywny pipeline zbierania danych z obsługą błędów, logowaniem i automatycznym restartem przy awariach. W rezultacie otrzymasz stabilny system bez utraty danych, który działa nieprzerwanie. Mogę również zaproponować skalowanie pod duże wolumeny. Jestem gotów omówić szczegóły i od razu przystąpić do pracy.

Pokaż oryginał

Przetłumacz

Witam! Problem z zatrzymywaniem Google Sheets podczas parsowania 24/7 jest mi dobrze znany — jest to wynikiem przekroczenia limitów (Rate Limits) oraz niestabilności sieci. Jestem gotów zoptymalizować twoje oprogramowanie, czyniąc je naprawdę autonomicznym.

Pokaż oryginał

Przetłumacz

Dzień dobry!

Problem jest zrozumiały — przeciążenie Google Sheets i brak buforowania danych, przez co system jest niestabilny 24/7.

Mogę rozwiązać:

SQLite lub bufor plikowy zamiast stałych zapisów
wysyłanie wsadowe do Google Sheets w celu zmniejszenia obciążenia
kolejka danych między parsowaniem a zapisem
… optymalizacja przeliczenia statystyk
auto-restart Selenium przy awariach

Mam doświadczenie z Selenium oraz zadaniami związanymi z parsowaniem/automatyzacją.
CV mogę dostarczyć w razie potrzeby.

Pokaż oryginał

Przetłumacz

Cześć! Mam doświadczenie w optymalizacji parsowania z Google Sheets (przyczyny zatrzymań: limit zapytań, timeouty, duża ilość danych). Rozwiązanie: przenieść przechowywanie do SQLite lub plików CSV z rotacją, skonfigurować ponowne próby w przypadku błędów, zrobić logowanie do monitorowania 24/7. Mogę przepisać logikę na przechowywanie w pliku lub SQLite z automatycznym połączeniem. Szczegóły omówimy po przeglądzie obecnego kodu. Pracuję na dłuższy czas. Czekam na wiadomość prywatną!

Pokaż oryginał

Przetłumacz

Cześć! Jestem indywidualnym deweloperem z 4-letnim doświadczeniem w automatyzacji (n8n, Python) oraz pracy z dużymi danymi, dlatego zoptymalizuję twoje parsowanie, przenosząc je z niestabilnych Google Sheets na odporną architekturę z wykorzystaniem SQLite lub lokalnego przechowywania w plikach. Rozwiążę problem z zatrzymywaniem się z powodu limitów API, skonfiguruję rotację logów i zapewnię stabilną pracę 24/7 na VPS za pomocą PM2 lub Dockera, aby procesy nie były przerywane; pracuję przez FOP i jestem gotów opracować niezawodny schemat przechowywania danych już dziś. Moje prace: https://3magency.co/, https://jk-solution.com.ua/, https://farfieworldwide.com/, Behance.

Pokaż oryginał

Przetłumacz

Witam. Twój obecny skrypt zatrzymuje się, ponieważ używa Google Sheets niezgodnie z przeznaczeniem: przy każdej aktualizacji próbuje przeliczyć całą tablicę danych, napotykając na limity czasowe i sztywne limity API. Aby zapewnić stabilną pracę 24/7, zmieniam logikę przechowywania. Całą ciężką historię parsowania przeniosę do lekkiej lokalnej bazy danych, aby odblokować działanie Selenium, a do Google Sheets będę przesyłać wyłącznie zaktualizowaną statystykę oraz mały wycinek ostatnich gier wyłącznie w celach wizualizacji. To całkowicie zdejmuje zbędne obciążenie z sieci, skrypt przestanie wieszać się w oczekiwaniu na odpowiedź od Google i będzie działał autonomicznie. Jestem gotów szybko wdrożyć tę architekturę bez całkowitego przepisywania Twojego głównego kodu.

Pokaż oryginał

Przetłumacz

Cześć. Przyjrzałem się zadaniu i samemu podejściu, które wydaje mi się dość zrozumiałe: problem prawdopodobnie nie dotyczy tylko parsowania, ale także powiązania z Google Sheets i przechowywaniem danych. Mogę szybko przeanalizować obecną logikę, usunąć wąskie gardło i doprowadzić to do bardziej stabilnego schematu, aby działało normalnie 24/7. Jeśli w kodzie okaże się, że lepiej przenieść przechowywanie do SQLite lub pliku, również to zrobię bez zbędnego komplikowania.

Pokaż oryginał

Przetłumacz

Cześć.

Jestem gotów zająć się optymalizacją. Mam doświadczenie z parserami, które powinny działać stabilnie 24/7, a w takich zadaniach zazwyczaj najpierw eliminuję wąskie gardła w architekturze, a nie tylko „dostosowuję czasy”.

Z twojego obecnego skryptu już widać, że problem prawdopodobnie nie leży tylko w samym parsowaniu, ale w połączeniu Selenium + ciągłe zapisy/aktualizacje w Google Sheets + przeliczanie statystyk na bieżąco. W takiej formie rzeczywiście może to się zatrzymywać lub degradować z czasem.

Co mogę zaproponować:
— przenieść zapis do lokalnej SQLite / pliku jako główne źródło;
— wydzielić Google Sheets do osobnej synchronizacji partiami, a nie w krytycznym strumieniu;
… — ustabilizować cykl pracy 24/7;
— w razie potrzeby uprościć/przepisać problematyczną część, aby rozwiązanie było bardziej niezawodne.

Mogę szybko przyjrzeć się obecnej realizacji i zaproponować normalną wersję roboczą bez zbędnego komplikowania.

Pokaż oryginał

Przetłumacz

Witam.

Przejrzałem twój skrypt i widzę, że problem nie leży tylko w parsowaniu. W obecnej pętli skrypt jednocześnie odczytuje tabelę Historia, zapisuje nowe wiersze w Google Sheets, następnie ponownie odczytuje Wyniki w celu kontroli objętości i osobno przelicza całą statystykę z historii. Z powodu takiego schematu proces zaczyna napotykać na częste zapytania do Sheets API i staje się niestabilny przy długotrwałej pracy.

Podszedłbym do tego jako do zadania na stabilizację trybu 24/7: najpierw znaleźć wąskie gardło w łańcuchu parsowanie → zapisywanie → aktualizacja statystyki, następnie starannie oddzielić gorącą pętlę i aktualizacje w tle, aby skrypt nie zatrzymywał się podczas długiego przebiegu. Osobno sprawdzę, co dokładnie generuje największe obciążenie — zapis do tabeli, przycinanie starych wierszy czy pełne przeliczenie statystyki.

Problem już widzę i mogę zaproponować działające rozwiązanie bez zbędnego przepisywania całego projektu.

Pokaż oryginał

Przetłumacz

Witaj! Jestem gotów zrealizować ten projekt, mam duże doświadczenie w tworzeniu różnych aplikacji.

Pokaż oryginał

Przetłumacz

Przejrzałem kod, zrobię to łatwo. Zrobię to od razu.

Pokaż oryginał

Przetłumacz

Witam. Kod przejrzałem, widzę miejsca, gdzie można poprawić. Będę zadowolony, aby pomóc, proszę się zgłaszać.

Pokaż oryginał

Przetłumacz

Dzień dobry!
Mam doświadczenie w optymalizacji parserów, pracy z Google Sheets, plikami i SQLite, a także w przenoszeniu podobnych procesów na bardziej stabilne przechowywanie danych dla ciągłej pracy.
Zajmowałem się zadaniami, gdzie trzeba było usunąć przestoje, zmniejszyć obciążenie Google Sheets i zbudować bardziej niezawodny schemat przechowywania z myślą o ciągłej pracy 24/7.
Proponuję omówić szczegóły, a także koszt i terminy w wiadomościach prywatnych.

Pokaż oryginał

Przetłumacz

Witam! Widzę problemy z zawieszaniem się z powodu częstych zapytań do Google Sheets oraz przeciążonego parsowania Selenium (powtarzające się wyszukiwania elementów, sleep, przetwarzanie stale-elementów), dlatego proponuję zoptymalizować zbieranie danych (oczekiwanie przez WebDriverWait, zmniejszenie zapytań do DOM), dodać buforowanie oraz zapytania wsadowe dla Sheets lub przenieść zapis do SQLite/pliku, co znacznie zwiększy szybkość i stabilność pracy.

Pokaż oryginał

Przetłumacz

Zrobię to w js lub kotlin, zainstalujemy na vps i będzie działać 24/7. Jeśli dołączony skrypt już działa, to można go zainstalować na vps.

Pokaż oryginał

Przetłumacz

Cześć.

Mam doświadczenie z arkuszami Google. Mogę napisać dla Ciebie skrypt. Napisz, porozmawiamy.

Pokaż oryginał

Przetłumacz

Witam, zrobię wszystko szybko i jakościowo, robię najlepsze parsery, cena 500 zł.

Pokaż oryginał

Przetłumacz

Mam doświadczenie z parserami. Jestem gotów w prywatnych wiadomościach zaproponować rozwiązania oraz poprawić/przepisać Twój kod. Poprawki i prace nad Twoim skryptem są bezpłatne. Szybko i niedrogo. Czekam na naszą współpracę.

Pokaż oryginał

Przetłumacz

Dzień dobry. Mam duże doświadczenie w parsowaniu i zapisywaniu arkuszy Google, a także różnych baz danych. Potrzebny jest bardziej szczegółowy opis błędów lub tego, co dokładnie należy zbierać. Sądząc po skrypcie, parsowanie po tagach HTML, samo w sobie nie jest stabilne. W tabeli można jednym zapisem wpisać od razu wiele danych, aby obejść limity. Skontaktuj się, omówimy. Cena i termin są orientacyjne.

Pokaż oryginał

Przetłumacz

Witam!
Przepiszę twój skrypt pod twoje potrzeby.
Skontaktuj się ze mną w sprawie szczegółów na prywatnej wiadomości.

Pokaż oryginał

Przetłumacz

Witam. Mam duże doświadczenie z Pythonem. Jestem gotów zmienić sposób przechowywania danych na SQLite.

Pokaż oryginał

Przetłumacz

Dzień dobry!
Jestem gotów zoptymalizować twój parsing. Rozwiążę problem z zatrzymaniami w Google Sheets lub zaproponuję alternatywne przechowywanie danych w pliku/SQLite, zapewniając stabilną pracę 24/7. Mam duże doświadczenie z API, Google Sheets i bazami danych.

Napisz do mnie, omówimy szczegóły.

Pokaż oryginał

Przetłumacz

Witaj! Twój projekt wygląda bardzo interesująco. Jestem gotów rozpocząć pracę natychmiast i zapewnić wysoką jakość.

Pokaż oryginał

Przetłumacz

Możemy zoptymalizować twoje parsowanie do stałej pracy 24/7. Jesteśmy gotowi zaproponować kilka rozwiązań: przenieść przechowywanie danych z Google Sheets do lokalnego pliku lub SQLite — to usunie problem zatrzymywania skryptów i znacznie zwiększy stabilność. Również skonfigurujemy automatyczne przywracanie pracy parsera w przypadku błędów, monitorowanie i logowanie. Wszystkie procesy będą działać na oddzielnym serwerze pod nadzorem systemu nieprzerwanego monitorowania. Jesteśmy gotowi wziąć to na siebie jako kompleksową obsługę.

Pokaż oryginał

Przetłumacz