Оптимізувати парсинг

Вітаю Alex!
Пишу парсинг на python.
Можу вам з цим допомогти.

Доброго дня!
Переглянув задачу — проблема не в парсингу, а в архітектурі: у коді занадто часті звернення до Google Sheets (кілька API-запитів кожні кілька секунд), через що спрацьовують ліміти і система зупиняється.
Можу виправити:
зробити буферизацію записів
перенести основне збереження в SQLite/CSV
залишити Google Sheets тільки для періодичної синхронізації
налаштувати стабільну роботу 24/7 без зависань
Готовий реалізувати швидко та зробити систему надійною. Можемо обговорити деталі.

Доброго дня! Готовий оптимізувати ваш парсинг під стабільну роботу 24/7. Вирішу проблему з Google Sheets (зупинки/ліміти) — або оптимізую запис через батчинг і кеш, або переведу збереження на файл/SQLite для максимальної надійності. Налаштую ефективний пайплайн збору даних з обробкою помилок, логуванням і авто-рестартом при збоях. У результаті отримаєте стабільну систему без втрат даних, яка працює безперервно. Можу також запропонувати масштабування під великі обсяги. Готовий обговорити деталі та одразу приступити.

Вітаю! Проблема зупинки Google Sheets при парсингу 24/7 мені добре знайома — це наслідок перевищення квот (Rate Limits) та нестабільності мережі. Я готовий оптимізувати ваш софт, зробивши його по-справжньому автономним.

Доброго дня!

Проблема зрозуміла — перевантаження Google Sheets і відсутність буферизації даних, через це система нестабільна 24/7.

Можу вирішити:

SQLite або файловий буфер замість постійних записів
batch-відправка в Google Sheets для зниження навантаження
черга даних між парсингом і записом
… оптимізація перерахунку статистики
авто-restart Selenium при збоях

Є досвід з Selenium і завданнями парсингу/автоматизації.
CV можу надати за необхідності.

Показати оригінал

Перекласти

Вітаю! Маю досвід оптимізації парсингу з Google Sheets (причини зупинок: ліміт запитів, таймаути, великий обсяг даних). Рішення: винести зберігання в SQLite або CSV-файли з ротацією, налаштувати повторні спроби при помилках, зробити логування для моніторингу 24/7. Можу переписати логіку на збереження в файл або SQLite з автопідключенням. Деталі обговоримо після перегляду поточного коду. Працюю на довгостроково. Чекаю в особистих!

Вітаю! Я індивідуальний розробник із 4-річним досвідом в автоматизації (n8n, Python) та роботі з великими даними, тому оптимізую ваш парсинг, перевівши його з нестабільних Google Sheets на відмовостійку архітектуру з використанням SQLite або локального збереження у файли. Я усуну проблему зупинок через ліміти API, налаштую ротацію логів та забезпечу стабільну роботу 24/7 на VPS через PM2 або Docker, щоб процеси не переривалися; працюю через ФОП і готовий розробити надійну схему збереження даних уже сьогодні. Мої роботи: https://3magency.co/, https://jk-solution.com.ua/, https://farfieworldwide.com/, Behance.

Вітаю. Ваш поточний скрипт зупиняється через те, що використовує Google Sheets не за призначенням: при кожному оновленні він намагається перерахувати весь масив даних, впираючись у таймаути та жорсткі ліміти API. Для стабільної роботи 24/7 я зміню логіку збереження. Усю важку історію парсингу переведу в легку локальну базу даних, щоб розблокувати роботу Selenium, а в Google Sheets передаватиму виключно оновлену статистику та невеликий зріз останніх ігор суто для візуалізації. Це повністю зніме зайве навантаження з мережі, скрипт перестане висіти в очікуванні відповіді від Google і працюватиме автономно. Готовий реалізувати цю архітектуру швидко та без тотального переписування Вашого основного коду.

Доброго дня. Подивився задачу і сам підхід тут бачу досить зрозумілим: проблема, скоріше за все, не тільки в парсингу, а в зв'язці з Google Sheets і збереженням даних. Можу швидко розібрати поточну логіку, прибрати вузьке місце і привести це до більш стабільної схеми, щоб воно працювало нормально 24/7. Якщо по коду виявиться, що краще перенести зберігання в SQLite або файл, теж зроблю без зайвого ускладнення.

Показати оригінал

Перекласти

Доброго дня.

Готовий зайнятися оптимізацією. Маю досвід з парсерами, які повинні працювати стабільно 24/7, і з такими завданнями я зазвичай спочатку усуваю вузькі місця в архітектурі, а не просто “підкручую таймінги”.

За вашим поточним скриптом вже видно, що проблема, швидше за все, не тільки в самому парсингу, а в зв'язці Selenium + постійні записи/оновлення в Google Sheets + перерахунок статистики на льоту. У такому вигляді це дійсно може зупинятися або деградувати з часом.

Що можу запропонувати:
— перевести збереження в локальну SQLite / файл як основне джерело;
— винести Google Sheets в окрему синхронізацію партіями, а не в критичний потік;
… — стабілізувати цикл роботи 24/7;
— за необхідності спростити/переписати проблемну частину, щоб рішення було надійнішим.

Можу швидко переглянути поточну реалізацію і запропонувати нормальний робочий варіант без зайвого ускладнення.

Показати оригінал

Перекласти

Вітаю.

Переглянув ваш скрипт і бачу, що проблема сидить не лише в парсингу. У поточному циклі скрипт одночасно читає таблицю History, пише нові рядки в Google Sheets, потім знову читає Results для контролю обсягу і ще окремо перераховує всю статистику по історії. Через таку схему процес починає впиратися в часті звернення до Sheets API і стає нестабільним при довгій роботі.

Я б зайшов у це як у задачу на стабілізацію 24/7 режиму: спочатку знайти вузьке місце в ланцюжку парсинг → збереження → оновлення статистики, далі акуратно розділити гарячий цикл і фоновые оновлення, щоб скрипт не зупинявся на тривалому прогоні. Окремо перевірю, що саме дає найбільше навантаження — запис у таблицю, trim старих рядків чи повний перерахунок статистики.

ПРоблему вже бачу і можу дати робоче рішення без зайвого переписування всього проєкту.

Привіт! Готовий виконати цей проект, маю великий досвід розробки різних додатків.

Показати оригінал

Перекласти

Пробігся очима по коду, зроблю легко. Зроблю прямо зараз.

Показати оригінал

Перекласти

Вітаю. Код переглянув, бачу місця де можна покращити. Буду радий допомогти, звертайтесь.

Доброго дня!
Є досвід оптимізації парсерів, роботи з Google Sheets, файлами та SQLite, а також переведення подібних процесів на більш стабільне зберігання даних для постійної роботи.
Займався завданнями, де потрібно було прибрати зупинки, знизити навантаження на Google Sheets та вибудувати більш надійну схему збереження з розрахунком на безперервну роботу 24/7.
Пропоную обговорити деталі, а також вартість і терміни в особистих повідомленнях.

Показати оригінал

Перекласти

Вітаю! Бачу проблеми у зависанні через часті звернення до Google Sheets та перевантажений парсинг Selenium (повторні пошуки елементів, sleep, обробка stale-елементів), тому пропоную оптимізувати збір даних (очікування через WebDriverWait, зменшення звернень до DOM), додати буферизацію та batch-запити для Sheets або винести збереження в SQLite/файл, що суттєво підвищить швидкість і стабільність роботи.

Зроблю на js або kotlin, встановимо на vps і буде працювати 24/7. Якщо прикладений скрипт вже працює, то можна поставити на vps його.

Показати оригінал

Перекласти

Доброго дня.

Є досвід з гугл таблицями. Можу написати для вас скрипт. Пишіть, обговоримо.

Показати оригінал

Перекласти

Маю досвід з парсерами. Готовий в особистих запропонувати рішення та виправити/переписати ваш код. Поправки і доопрацювання вашого скрипта безкоштовні.
Швидко та недорого. Чекатиму на нашу співпрацю

Доброго дня. Маю великий досвід в парсингу та запису гугл таблиці, також різних баз даних.
Потрібно більш детальний опис помилок, або того що саме там потрібно збирати.
Судячи зі скрипта, парсинг по хтмл тегам, це саме по собі не стабільно.
В таблиці можна одним записом писати одразу багато даних, так обходити лімити.
Звкпиайтесь, обговоремо.
Ціна та термін умовні.

Вітаю!
Перепишу ваш скрипт під ваші потреби.
Звертайтесь за деталями в особисті

Вітаю.Є великий досвід з Python.Готовий змінити спосіб зберігання данних на SQLite.

Доброго дня!
Готовий оптимізувати ваш парсинг. Вирішу проблему зупинок у Google Sheets або запропоную альтернативне збереження даних у файл/SQLite, забезпечивши стабільну роботу 24/7. Маю великий досвід з API, Google Sheets та базами даних.

Напишіть мені, обговоримо деталі.

Привіт! Ваш проект виглядає дуже цікавим. Я готовий розпочати роботу негайно і забезпечити високу якість.

Показати оригінал

Перекласти

Ми можемо оптимізувати ваш парсинг під постійну роботу 24/7. Готові запропонувати кілька рішень: перенести збереження даних із Google Sheets у локальний файл або SQLite — це усуне проблему зупинки скриптів і значно підвищить стабільність. Також налаштуємо автоматичне відновлення роботи парсера у разі помилок, моніторинг та логування. Всі процеси будуть працювати на окремому сервері під наглядом системи безперебійного контролю. Готові взяти це на себе як комплексний супровід.