Poprawić parsowanie danych w Excelu

«Witam! Zapoznałem się z Twoim zadaniem oraz błędem WinError 10061. Występuje on z powodu przerwania połączenia między sterownikiem przeglądarki a skryptem podczas długotrwałej pracy.
Jak proponuję rozwiązać problem:

Stabilność 24/7: Dodam do kodu obsługę wyjątków (Error Handling). Jeśli skrypt straci połączenie, automatycznie zrestartuje sesję bez Twojego udziału.
Optymalizacja zapisu: Wprowadzę buforowe zapisywanie. Dane będą najpierw zbierane lokalnie, a następnie ładowane do Google Sheets dużymi blokami. To rozwiąże problem z "ciężką" tabelą.
Audyt: Sprawdzę obciążenie pamięci zdalnego PC, aby wyeliminować przyczynę zawieszania się.

Warunki:
Koszt: 1500 zł (przez Sejf).
… Termin: 1-2 dni na poprawki i testowanie.

Jestem gotów rozpocząć pracę od razu po uzyskaniu dostępu do kodu.»

Pokaż oryginał

Przetłumacz

Dobry wieczór!
Mam doświadczenie w poprawianiu i optymalizacji istniejących parserów, w tym tych, które zostały zrealizowane za pomocą Excel / Google Sheets i mają problemy ze stabilnością przy długotrwałej pracy.
Dobrze rozumiem typową sytuację, kiedy:
parser działa przez kilka godzin/dni,
potem zdalny komputer zaczyna "siadać",
Google Excel/Sheets rozrasta się i staje się wąskim gardłem (pamięć, limity, synchronizacja).
Co mogę zrobić:
Rozebrać i poprawić błędy logiczne parsowania
przeanalizować załączony przykład błędu;
… sprawdzić obsługę wyjątków, duplikaty, awarie w formatowaniu danych;
poprawić niepoprawny zapis w tabeli.
Optymalizować architekturę pod pracę 24/7
wynieść gromadzenie danych z Google Excel do bardziej stabilnego magazynu (lokalna baza danych / pliki / kolejki);
zmniejszyć liczbę operacji zapisu w Google Sheets;
dodać kontrolę pamięci, restarty procesu, logowanie błędów;
uczynić parser stabilnym do długotrwałej ciągłej pracy.
Zmniejszyć zależność od zdalnego komputera
przeanalizować, dlaczego system "siada" po kilku dniach;
zaproponować rozwiązanie, które nie wymaga stałej ręcznej kontroli.
Wynik:
poprawione błędy parsowania;
stabilna praca 24/7 bez awarii;
zalecenia lub wdrożenie optymalnego schematu przechowywania danych;
minimalizacja obciążenia Google Excel.
Na początek potrzebne są:
dostęp do aktualnego rozwiązania (skrypt/Excel/opis logiki);
zrozumienie, jaki zakres danych gromadzi się w ciągu doby;
gdzie dokładnie teraz uruchamiany jest parser (lokalnie / VPS / zdalny komputer).
Jestem gotowa podłączyć się i uporządkować rozwiązanie.

Pokaż oryginał

Przetłumacz

Witam!
Mogę pomóc poprawić parsowanie danych w Excelu/Google Sheets.
Proszę wyjaśnić, w jaki sposób obecnie działa parser (jaki kod/jaki instrument jest używany — Python, Google Apps Script, inne?), i w jaki sposób występują awarie (upadki, zawieszanie się).
Mogę:

- sprawdzić kod parsera

- zoptymalizować logikę przetwarzania danych

… - zaproponować sposób, aby skrypt działał stabilniej

Dziękuję!

Pokaż oryginał

Przetłumacz

Witaj! Jestem gotów zrealizować ten projekt, mam duże doświadczenie w tworzeniu różnych aplikacji.

Pokaż oryginał

Przetłumacz

Witam. Zapoznałem się z zadaniem i przykładem błędu.

Mogę poprawić błędy w obecnym parserze i zoptymalizować jego działanie, aby działał stabilnie 24/7. Usunę przyczyny zawieszeń i awarii podczas długotrwałego wykonywania, zmniejszę obciążenie systemu i dodam poprawną obsługę błędów.

W razie potrzeby skonfiguruję logowanie i automatyczne przywracanie działania, aby proces się nie zatrzymywał.

Jestem gotów przejrzeć kod i szybko zaproponować rozwiązanie.

Pokaż oryginał

Przetłumacz

Dobry wieczór.
Nazywam się Ołeksij.
Jestem gotów poprawić wszystkie błędy i ulepszyć kod (jeśli to możliwe),
jestem gotów wszystko wykonać szybko i jakościowo, ponieważ wielokrotnie pracowałem z Google Sheets.
Wykonam wszystko w ciągu dnia!
Z poważaniem Ołeksij.

Będę zadowolony ze współpracy!

Pokaż oryginał

Przetłumacz

Dobry wieczór. Jeśli skrypt jest napisany w pythonie, to mogę go poprawić.

Pokaż oryginał

Przetłumacz

Cześć, programista python z doświadczeniem ponad 5 lat, rozumiem, że na zrzucie ekranu używane jest selenium, możemy omówić albo ulepszenia, albo po prostu rozwiązanie problemu z zachowaniem sesji przeglądarki i ponownym uruchamianiem przy awariach. Piszcie na prywatne, omówimy szczegóły, będę zadowolony ze współpracy!

Pokaż oryginał

Przetłumacz

Cześć. Mogę przejąć i doprowadzić ten parsing do normalnego „24/7”, ale ważne jest, aby nie łatać Excela, a usunąć przyczynę awarii.

Z tego, co opisałeś, problem jest typowy: Google Sheets/Excel jako „baza danych” rozrasta się, zaczyna zwalniać, limity/kwoty/pamięć, i w pewnym momencie wszystko się sypie razem z zdalnym komputerem.

Co zrobię:

szybko przejrzę błędy w formułach/parserze (jak w twoim przykładzie) i poprawię logikę

dodam normalne logowanie + automatyczne ponowne uruchamianie, aby skrypt sam się uruchamiał po awariach
…
optymalizuję zapis danych: w partiach, bez zbędnych przeliczeń/formatań, aby nie „zabijać” tabeli

jeśli tabela jest już duża — zaproponuję odpowiednią opcję dla 24/7: przechowywanie danych w bazie danych (PostgreSQL/SQLite) lub przynajmniej w plikach (CSV/JSON) + w Google Sheets oddawanie tylko „witryny” (ostatnie N wierszy / agregaty)

Wyjaśnię wprost: zrobienie stabilnego 24/7 parsowania, które pisze nieskończoność w Google Sheets, — prawie zawsze zły pomysł. Do ciągłej pracy potrzebne jest miejsce do przechowywania, które jest do tego stworzone.

Na początek potrzebuję: dostępu do pliku/skryptu, krótkiego opisu, gdzie jest uruchamiane (Windows/VPS), oraz linku do arkusza Google lub jego kopii. Po tym podam dokładną ocenę czasu i zaproponuję najkrótszą drogę do stabilności.

Pokaż oryginał

Przetłumacz

Cześć Witalij, jestem tym, kogo potrzebujesz.
Mój stos, mam duże doświadczenie.
Napisz do mnie, omówimy to prywatnie.

Pokaż oryginał

Przetłumacz

Jestem gotowy szybko i jakościowo zrealizować Twoje zamówienie. Mam doświadczenie w pracy z podobnymi projektami, zawsze przestrzegam terminów i wymagań technicznych. Będę zadowolony z współpracy!

Pokaż oryginał

Przetłumacz

Widzę błąd WinError 10061 / Przekroczono maksymalną liczbę prób do localhost — oznacza to, że WebDriver (Chrome/Chromedriver) "upada" i połączenie z nim jest odrzucane. Naprawię to: dodam health-check + automatyczne ponowne uruchamianie sterownika/przeglądarki, stabilne czasy oczekiwania/retry oraz logowanie, aby parser działał 24/7. Również zoptymalizuję zapis do Google/Excel (wsadowo), aby nie zawieszał się z powodu rozmiaru tabeli.

Pokaż oryginał

Przetłumacz