Оптимизировать парсинг

Бюджет: 2000 UAH Срок: 1 день

Привет!

Просмотрел код — проблема понятна.

Google Sheets останавливается из-за ограничения по количеству запросов API: update_full_statistics
вызывается при каждой новой строке и делает 20+ запросов подряд.
Google позволяет ~60 запросов/минуту — отсюда и остановки.

Что сделаю:
1. Пакетирование запросов Sheets — накапливаю строки, пишу раз в N секунд
2. SQLite как основное локальное хранилище (вместо CSV)
3. Sheets обновляется асинхронно, не блокируя парсинг
4. Работа 24/7 без остановок

Готов начинать сейчас. Развернуть

Бюджет: 700 UAH Срок: 1 день

Здравствуйте. Посмотрел скрипт — проблема в Google Sheets API (лимит 429) и отсутствии авто-рестарта Selenium при падении. Добавлю SQLite как основное хранилище,батчевую запись в Sheets и watchdog-loop — всё за 700 грн, сделаю сегодня.

Бюджет: 1000 UAH Срок: 1 день

Здравствуйте.

Есть опыт с гугл таблицами. Могу написать для вас скрипт. Пишите, обсудим.

Бюджет: 1000 UAH Срок: 1 день

Здравствуйте. У меня большой опыт с Python. Готов изменить способ хранения данных на SQLite.

Бюджет: 700 UAH Срок: 1 день

Поскольку Google Sheets имеет лимиты на запись, предлагаю писать в локальный файл или SQLITE.

Готов прямо сейчас переписать скрипт.

Бюджет: 700 UAH Срок: 7 дней

Привет, я работал над оптимизацией парсинга для e-commerce платформы с 50,000+ товаров ежедневно - уменьшил время обработки на 70% и внедрил стабильное сохранение в SQLite.

Почему сейчас происходит остановка Google Sheets - из-за лимитов API или большого объема данных?

Предлагаю связаться, я бесплатно проконсультирую вас с технической стороны и составим план разработки + расскажу о моей команде!

Бюджет: 700 UAH Срок: 3 дня

Привет, Алекс!
Пишу парсинг на python.
Могу вам с этим помочь.

Бюджет: 1000 UAH Срок: 2 дня

Добрый день!
Пересмотрев задачу — проблема не в парсинге, а в архитектуре: в коде слишком частые обращения к Google Sheets (несколько API-запросов каждые несколько секунд), из-за чего срабатывают лимиты и система останавливается.
Могу исправить:
сделать буферизацию записей
перенести основное сохранение в SQLite/CSV
оставить Google Sheets только для периодической синхронизации
настроить стабильную работу 24/7 без зависаний
Готов реализовать быстро и сделать систему надежной. Можем обсудить детали.

Бюджет: 700 UAH Срок: 1 день

Добрый день! Готов оптимизировать ваш парсинг для стабильной работы 24/7. Решу проблему с Google Sheets (остановки/лимиты) — либо оптимизирую запись через батчинг и кэш, либо переведу сохранение на файл/SQLite для максимальной надежности. Настрою эффективный пайплайн сбора данных с обработкой ошибок, логированием и авто-рестартом при сбоях. В результате получите стабильную систему без потерь данных, которая работает непрерывно. Могу также предложить масштабирование под большие объемы. Готов обсудить детали и сразу приступить.

Бюджет: 700 UAH Срок: 1 день

Здравствуйте! Проблема остановки Google Sheets при парсинге 24/7 мне хорошо знакома — это следствие превышения квот (Rate Limits) и нестабильности сети. Я готов оптимизировать ваше программное обеспечение, сделав его по-настоящему автономным.

Бюджет: 700 UAH Срок: 1 день

Добрый день!

Проблема понятна — перегруз Google Sheets и отсутствие буферизации данных, из-за этого система нестабильна 24/7.

Могу решить:

SQLite или файловый буфер вместо постоянных записей
batch-отправка в Google Sheets для снижения нагрузки
очередь данных между парсингом и записью
оптимизация пересчёта статистики
авто-restart Selenium при сбоях

Есть опыт с Selenium и задачами парсинга/автоматизации.
CV могу предоставить при необходимости. Развернуть

Бюджет: 2000 UAH Срок: 1 день

Здравствуйте! Я индивидуальный разработчик с 4-летним опытом в автоматизации (n8n, Python) и работе с большими данными, поэтому оптимизирую ваш парсинг, переведя его с нестабильных Google Sheets на отказоустойчивую архитектуру с использованием SQLite или локального хранения в файлы. Я устраню проблему остановок из-за лимитов API, настрою ротацию логов и обеспечу стабильную работу 24/7 на VPS через PM2 или Docker, чтобы процессы не прерывались; работаю через ФОП и готов разработать надежную схему хранения данных уже сегодня. Мои работы: https://3magency.co/, https://jk-solution.com.ua/, https://farfieworldwide.com/, Behance.

Бюджет: 2000 UAH Срок: 1 день

Здравствуйте. Ваш текущий скрипт останавливается из-за того, что использует Google Sheets не по назначению: при каждом обновлении он пытается пересчитать весь массив данных, упираясь в таймауты и жесткие лимиты API. Для стабильной работы 24/7 я изменю логику сохранения. Всю тяжелую историю парсинга переведу в легкую локальную базу данных, чтобы разблокировать работу Selenium, а в Google Sheets буду передавать исключительно обновленную статистику и небольшой срез последних игр исключительно для визуализации. Это полностью снимет лишнюю нагрузку с сети, скрипт перестанет висеть в ожидании ответа от Google и будет работать автономно. Готов реализовать эту архитектуру быстро и без тотального переписывания вашего основного кода.

Бюджет: 700 UAH Срок: 1 день

Здравствуйте. Посмотрел задачу и сам подход тут вижу довольно понятный: проблема скорее всего не только в парсинге, а в связке с Google Sheets и сохранением данных. Могу быстро разобрать текущую логику, убрать узкое место и привести это к более стабильной схеме, чтобы оно работало нормально 24/7. Если по коду окажется, что лучше увести хранение в SQLite или файл, тоже сделаю без лишнего усложнения.

Бюджет: 2000 UAH Срок: 2 дня

Здравствуйте.

Готов заняться оптимизацией. Есть опыт с парсерами, которые должны работать стабильно 24/7, и с такими задачами я обычно сначала убираю узкие места по архитектуре, а не просто “подкручиваю тайминги”.

По вашему текущему скрипту уже видно, что проблема, скорее всего, не только в самом парсинге, а в связке Selenium + постоянные записи/апдейты в Google Sheets + пересчёт статистики на лету. В таком виде это действительно может останавливаться или деградировать со временем.

Что могу предложить:
— перевести сохранение в локальную SQLite / файл как основной источник;
— вынести Google Sheets в отдельную синхронизацию пачками, а не в критический поток;
— стабилизировать цикл работы 24/7;
— при необходимости упростить/переписать проблемную часть, чтобы решение было надёжнее.

Могу быстро посмотреть текущую реализацию и предложить нормальный рабочий вариант без лишнего усложнения. Развернуть

Бюджет: 750 UAH Срок: 1 день

Здравствуйте.

Я просмотрел ваш скрипт и вижу, что проблема заключается не только в парсинге. В текущем цикле скрипт одновременно читает таблицу History, записывает новые строки в Google Sheets, затем снова читает Results для контроля объема и отдельно пересчитывает всю статистику по истории. Из-за такой схемы процесс начинает упираться в частые обращения к Sheets API и становится нестабильным при длительной работе.

Я бы подошел к этому как к задаче по стабилизации режима 24/7: сначала найти узкое место в цепочке парсинг → сохранение → обновление статистики, затем аккуратно разделить горячий цикл и фоновые обновления, чтобы скрипт не останавливался на длительном прогоне. Отдельно проверю, что именно дает наибольшую нагрузку — запись в таблицу, обрезка старых строк или полный пересчет статистики.

Проблему уже вижу и могу предложить рабочее решение без лишнего переписывания всего проекта.

Бюджет: 3999 UAH Срок: 1 день

Здравствуйте! Готов выполнить данный проект есть большой опыт разработки различных приложений

Бюджет: 777 UAH Срок: 1 день

Пробежался глазами по коду, сделаю изи.
Сделаю прямо сейчас.

Бюджет: 1000 UAH Срок: 1 день

Здравствуйте. Код просмотрел, вижу места, где можно улучшить. Буду рад помочь, обращайтесь.

Бюджет: 1000 UAH Срок: 1 день

Добрый день!
Есть опыт оптимизации парсеров, работы с Google Sheets, файлами и SQLite, а также перевода подобных процессов на более стабильное хранение данных для постоянной работы.
Занимался задачами, где нужно было убрать остановки, снизить нагрузку на Google Sheets и выстроить более надежную схему сохранения с расчетом на непрерывную работу 24/7.
Предлагаю обсудить детали, а также стоимость и сроки в личных сообщениях.

Бюджет: 700 UAH Срок: 1 день

Здравствуйте! Я вижу проблемы с зависанием из-за частых обращений к Google Sheets и перегруженного парсинга Selenium (повторные поиски элементов, задержки, обработка устаревших элементов), поэтому предлагаю оптимизировать сбор данных (ожидание через WebDriverWait, уменьшение обращений к DOM), добавить буферизацию и пакетные запросы для Sheets или вынести сохранение в SQLite/файл, что существенно повысит скорость и стабильность работы.

Бюджет: 700 UAH Срок: 1 день

Сделаю на js или kotlin, установим на впс и будет работать 24/7
Если приложенный скрипт уже работает, то можно поставить на впс его

Бюджет: 700 UAH Срок: 1 день

Здравствуйте, сделаю все быстро и качественно делаю лучшие парсеры цена 500 грн

Бюджет: 700 UAH Срок: 1 день

У меня есть опыт с парсерами. Готов в личных сообщениях предложить решения и исправить/переписать ваш код. Исправления и доработки вашего скрипта бесплатные. Быстро и недорого. Жду нашего сотрудничества.

Бюджет: 1000 UAH Срок: 1 день

Добрый день. У меня большой опыт в парсинге и записи в гугл таблицы, а также различных баз данных. Нужно более детальное описание ошибок или того, что именно там нужно собирать. Судя по скрипту, парсинг по хтмл тегам, это само по себе не стабильно. В таблице можно одним записом писать сразу много данных, так обходя лимиты. Свяжитесь, обсудим. Цена и срок условные.

Бюджет: 1000 UAH Срок: 1 день

Здравствуйте!
Перепишу ваш сценарий под ваши нужды.
Обращайтесь за деталями в личные сообщения.

Бюджет: 700 UAH Срок: 3 дня

Добрый день!
Готов оптимизировать ваш парсинг. Решу проблему остановок в Google Sheets или предложу альтернативное сохранение данных в файл/SQLite, обеспечив стабильную работу 24/7. Имею большой опыт с API, Google Sheets и базами данных.

Напишите мне, обсудим детали.

Бюджет: 700 UAH Срок: 3 дня

Здравствуйте! Ваш проект выглядит очень интересным. Я готов начать работу немедленно и обеспечить высокое качество.

Бюджет: 700 UAH Срок: 14 дней

Мы можем оптимизировать ваш парсинг под постоянную работу 24/7. Готовы предложить несколько решений: перенести сохранение данных из Google Sheets в локальный файл или SQLite — это устранит проблему остановки скриптов и значительно повысит стабильность. Также настроим автоматическое восстановление работы парсера в случае ошибок, мониторинг и логирование. Все процессы будут работать на отдельном сервере под наблюдением системы бесперебойного контроля. Готовы взять это на себя как комплексный сопровождение.