Виправити парсинг даних в Excel

«Вітаю! Ознайомився з вашим завданням та помилкою WinError 10061. Вона виникає через розрив з’єднання між драйвером браузера та скриптом під час тривалої роботи.
Як я пропоную розв'язати проблему:

Стабільність 24/7: Додам у код обробку винятків (Error Handling). Якщо скрипт втратить зв’язок, він автоматично перезапустить сесію без вашої участі.
Оптимізація запису: Впроваджу буферний запис. Дані спочатку збиратимуться локально, а потім завантажуватимуться в Google Sheets великими блоками. Це вирішить проблему з "важкою" таблицею.
Аудит: Перевірю навантаження на пам’ять віддаленого ПК, щоб усунути причину зависань.

Умови:
Вартість: 1500 грн (через Сейф).
… Термін: 1-2 дні на виправлення та тестування.

Готовий приступити до роботи відразу після отримання доступу до коду».

Доброго вечора!
Маю досвід виправлення та оптимізації існуючих парсерів, у тому числі тих, які були реалізовані через Excel / Google Sheets і мають проблеми зі стабільністю при тривалій роботі.
Я добре розумію типову ситуацію, коли:
парсер працює кілька годин/днів,
потім віддалений ПК починає “падати”,
Google Excel/Sheets розростається і стає вузьким місцем (памʼять, ліміти, синхронізація).
Що можу зробити:
Розібрати та виправити логічні помилки парсингу
проаналізувати прикріплений приклад помилки;
… перевірити обробку винятків, дублікати, збої у форматуванні даних;
виправити некоректний запис у таблицю.
Оптимізувати архітектуру під роботу 24/7
винести накопичення даних з Google Excel у більш стабільне сховище (локальна БД / файли / черги);
зменшити кількість операцій запису в Google Sheets;
додати контроль памʼяті, рестарти процесу, логування помилок;
зробити парсер стабільним для довготривалої безперервної роботи.
Зменшити залежність від віддаленого ПК
проаналізувати, чому система “лягає” через кілька діб;
запропонувати рішення, яке не потребує постійного ручного контролю.
Результат:
виправлені помилки парсингу;
стабільна робота 24/7 без збоїв;
рекомендації або впровадження оптимальної схеми зберігання даних;
мінімізація навантаження на Google Excel.
Для старту потрібні:
доступ до поточного рішення (скрипт/Excel/опис логіки);
розуміння, який обсяг даних накопичується за добу;
де саме зараз запускається парсер (локально / VPS / віддалений ПК).
Готова підключитись і навести порядок у рішенні.

Вітаю!
Можу допомогти виправити парсинг даних в Excel/Google Sheets.
Уточніть, яким чином зараз парсер працює (який код/який інструмент використовується — Python, Google Apps Script, інше?), і як саме виникають збої (падіння, зависання).
Я можу:

- перевірити код парсера

- оптимізувати логіку обробки даних

… - запропонувати спосіб, щоб скрипт працював стабільніше

Дякую!

Привіт! Готовий виконати цей проект, маю великий досвід розробки різних додатків.

Показати оригінал

Перекласти

Вітаю. Ознайомився з задачею та прикладом помилки.

Можу виправити помилки в поточному парсері та оптимізувати його роботу для стабільної роботи 24/7. Усуну причини зависань і збоїв при довготривалому виконанні, зменшу навантаження на систему та додам коректну обробку помилок.

За потреби налаштую логування й автоматичне відновлення роботи, щоб процес не зупинявся.

Готовий переглянути код і швидко запропонувати рішення.

Доброго вечора.
Мене звати Олексій.
Готовий виправити всі помилки та покращити код (якщо це можливо),
готовий все виконати швидко та якісно, так як не одноразово працював з Google Sheets.
Виконаю все впродовж дня!
З повагою Олексій.

Буду радий співпраці!

Доброго вечора. Якщо скрипт написаний на python то зможу виправити.

Вітаю, python розробник з досвідом більше 5 років, я так розумію по скріншоту використовується selenium, можемо обговорити або покращення або просто вирішення проблеми з збереженням сесії браузера та перезапуску при збоях. Пишіть в особисті обговоримо деталі, буду радий співпраці!

Привіт. Можу підхопити й довести цей парсинг до нормального «24/7», але тут важливо не латати Excel, а прибрати причину падінь.

З того, що ви описали, проблема типова: Google Sheets/Excel як “база даних” роздувається, починає гальмувати, ліміти/квоти/пам’ять, і в якийсь момент все валиться разом із віддаленим ПК.

Що зроблю:

швидко пройдуся по помилках у формулах/парсері (як у вашому прикладі) і виправлю логіку

додам нормальне логування + автоперезапуск, щоб скрипт сам піднімався після збоїв
…
оптимізую запис даних: батчами, без зайвих перерахунків/форматувань, щоб не «вбивати» таблицю

якщо таблиця вже велика — запропоную правильний варіант для 24/7: зберігати дані в БД (PostgreSQL/SQLite) або хоча б у файли (CSV/JSON) + у Google Sheets віддавати тільки «вітрину» (останні N рядків / агрегати)

Поясню прямо: зробити стабільний 24/7 парсинг, який пише нескінченно в Google Sheets, — майже завжди погана ідея. Для безперервної роботи потрібне місце зберігання, яке для цього створене.

Для старту мені треба: доступ до файлу/скрипта, коротко описати де запускається (Windows/VPS), і лінк на Google таблицю або її копію. Після цього дам точну оцінку по часу і запропоную найкоротший шлях до стабільності.

Привіт Віталію, я той, хто вам потрібен.
Мій стек, за плечима великий досвід.
Пишіть в особисті, обговоримо.

Показати оригінал

Перекласти

Готовий оперативно та якісно виконати ваше замовлення. Маю досвід роботи з аналогічними проєктами, завжди дотримуюсь дедлайнів і технічного завдання. Буду радий співпраці!

Бачу помилку WinError 10061 / Max retries exceeded до localhost — це означає, що WebDriver (Chrome/Chromedriver) “падає” і з’єднання з ним відхиляється. Виправлю: додам health-check + автоперезапуск драйвера/браузера, стабільні таймаути/ретраї та логування, щоб парсер працював 24/7. Також оптимізую запис у Google/Excel (пакетно), щоб не зависало через розмір таблиці.