Оптимизировать парсинг
700 UAHОптимизировать парсинг и предложить решения:
1/ Google Sheets - происходит остановка (или оптимизировать или написать под сохранения в файл)
2/ Сохранение в файл/SQLITE
Все должно работать 24/7
Приложения 1
-
1 день2000 UAH
1 день2000 UAH
Привет!
Просмотрел код — проблема понятна.
Google Sheets останавливается из-за ограничения по количеству запросов API: update_full_statistics
вызывается при каждой новой строке и делает 20+ запросов подряд.
Google позволяет ~60 запросов/минуту — отсюда и остановки.
Что сделаю:
… 1. Пакетирование запросов Sheets — накапливаю строки, пишу раз в N секунд
2. SQLite как основное локальное хранилище (вместо CSV)
3. Sheets обновляется асинхронно, не блокируя парсинг
4. Работа 24/7 без остановок
Готов начинать сейчас.
-
1 день700 UAH
1 день700 UAH
Здравствуйте. Посмотрел скрипт — проблема в Google Sheets API (лимит 429) и отсутствии авто-рестарта Selenium при падении. Добавлю SQLite как основное хранилище,батчевую запись в Sheets и watchdog-loop — всё за 700 грн, сделаю сегодня.
-
1 день700 UAH
1 день700 UAH
Поскольку Google Sheets имеет лимиты на запись, предлагаю писать в локальный файл или SQLITE.
Готов прямо сейчас переписать скрипт.
-
7 дней700 UAH
7 дней700 UAH
Привет, я работал над оптимизацией парсинга для e-commerce платформы с 50,000+ товаров ежедневно - уменьшил время обработки на 70% и внедрил стабильное сохранение в SQLite.
Почему сейчас происходит остановка Google Sheets - из-за лимитов API или большого объема данных?
Предлагаю связаться, я бесплатно проконсультирую вас с технической стороны и составим план разработки + расскажу о моей команде!
-
3 дня700 UAH
423 2 0 3 дня700 UAH
Привет, Алекс!
Пишу парсинг на python.
Могу вам с этим помочь.
-
2 дня1000 UAH
288 2 дня1000 UAH
Добрый день!
Пересмотрев задачу — проблема не в парсинге, а в архитектуре: в коде слишком частые обращения к Google Sheets (несколько API-запросов каждые несколько секунд), из-за чего срабатывают лимиты и система останавливается.
Могу исправить:
сделать буферизацию записей
перенести основное сохранение в SQLite/CSV
оставить Google Sheets только для периодической синхронизации
настроить стабильную работу 24/7 без зависаний
Готов реализовать быстро и сделать систему надежной. Можем обсудить детали.
-
1 день700 UAH
327 1 день700 UAH
Добрый день! Готов оптимизировать ваш парсинг для стабильной работы 24/7. Решу проблему с Google Sheets (остановки/лимиты) — либо оптимизирую запись через батчинг и кэш, либо переведу сохранение на файл/SQLite для максимальной надежности. Настрою эффективный пайплайн сбора данных с обработкой ошибок, логированием и авто-рестартом при сбоях. В результате получите стабильную систему без потерь данных, которая работает непрерывно. Могу также предложить масштабирование под большие объемы. Готов обсудить детали и сразу приступить.
-
1 день700 UAH
573 4 0 1 день700 UAH
Здравствуйте! Проблема остановки Google Sheets при парсинге 24/7 мне хорошо знакома — это следствие превышения квот (Rate Limits) и нестабильности сети. Я готов оптимизировать ваше программное обеспечение, сделав его по-настоящему автономным.
-
1 день700 UAH
295 1 день700 UAH
Добрый день!
Проблема понятна — перегруз Google Sheets и отсутствие буферизации данных, из-за этого система нестабильна 24/7.
Могу решить:
SQLite или файловый буфер вместо постоянных записей
batch-отправка в Google Sheets для снижения нагрузки
очередь данных между парсингом и записью
… оптимизация пересчёта статистики
авто-restart Selenium при сбоях
Есть опыт с Selenium и задачами парсинга/автоматизации.
CV могу предоставить при необходимости.
-
1 день2000 UAH
256 1 день2000 UAH
Здравствуйте! У меня есть опыт оптимизации парсинга с Google Sheets (причины остановок: лимит запросов, таймауты, большой объем данных). Решение: вынести хранение в SQLite или CSV-файлы с ротацией, настроить повторные попытки при ошибках, сделать логирование для мониторинга 24/7. Могу переписать логику на сохранение в файл или SQLite с автоподключением. Детали обсудим после просмотра текущего кода. Работаю на долгосрочной основе. Жду в личных сообщениях!
-
1 день2000 UAH
2163 14 0 1 1 день2000 UAH
Здравствуйте! Я индивидуальный разработчик с 4-летним опытом в автоматизации (n8n, Python) и работе с большими данными, поэтому оптимизирую ваш парсинг, переведя его с нестабильных Google Sheets на отказоустойчивую архитектуру с использованием SQLite или локального хранения в файлы. Я устраню проблему остановок из-за лимитов API, настрою ротацию логов и обеспечу стабильную работу 24/7 на VPS через PM2 или Docker, чтобы процессы не прерывались; работаю через ФОП и готов разработать надежную схему хранения данных уже сегодня. Мои работы: https://3magency.co/, https://jk-solution.com.ua/, https://farfieworldwide.com/,
Behance.
-
1 день2000 UAH
2264 18 3 1 день2000 UAH
Здравствуйте. Ваш текущий скрипт останавливается из-за того, что использует Google Sheets не по назначению: при каждом обновлении он пытается пересчитать весь массив данных, упираясь в таймауты и жесткие лимиты API. Для стабильной работы 24/7 я изменю логику сохранения. Всю тяжелую историю парсинга переведу в легкую локальную базу данных, чтобы разблокировать работу Selenium, а в Google Sheets буду передавать исключительно обновленную статистику и небольшой срез последних игр исключительно для визуализации. Это полностью снимет лишнюю нагрузку с сети, скрипт перестанет висеть в ожидании ответа от Google и будет работать автономно. Готов реализовать эту архитектуру быстро и без тотального переписывания вашего основного кода.
-
1 день700 UAH
130 1 день700 UAH
Здравствуйте. Посмотрел задачу и сам подход тут вижу довольно понятный: проблема скорее всего не только в парсинге, а в связке с Google Sheets и сохранением данных. Могу быстро разобрать текущую логику, убрать узкое место и привести это к более стабильной схеме, чтобы оно работало нормально 24/7. Если по коду окажется, что лучше увести хранение в SQLite или файл, тоже сделаю без лишнего усложнения.
-
2 дня2000 UAH
764 5 1 2 дня2000 UAH
Здравствуйте.
Готов заняться оптимизацией. Есть опыт с парсерами, которые должны работать стабильно 24/7, и с такими задачами я обычно сначала убираю узкие места по архитектуре, а не просто “подкручиваю тайминги”.
По вашему текущему скрипту уже видно, что проблема, скорее всего, не только в самом парсинге, а в связке Selenium + постоянные записи/апдейты в Google Sheets + пересчёт статистики на лету. В таком виде это действительно может останавливаться или деградировать со временем.
Что могу предложить:
— перевести сохранение в локальную SQLite / файл как основной источник;
— вынести Google Sheets в отдельную синхронизацию пачками, а не в критический поток;
… — стабилизировать цикл работы 24/7;
— при необходимости упростить/переписать проблемную часть, чтобы решение было надёжнее.
Могу быстро посмотреть текущую реализацию и предложить нормальный рабочий вариант без лишнего усложнения.
-
1 день750 UAH
588 2 0 1 день750 UAH
Здравствуйте.
Я просмотрел ваш скрипт и вижу, что проблема заключается не только в парсинге. В текущем цикле скрипт одновременно читает таблицу History, записывает новые строки в Google Sheets, затем снова читает Results для контроля объема и отдельно пересчитывает всю статистику по истории. Из-за такой схемы процесс начинает упираться в частые обращения к Sheets API и становится нестабильным при длительной работе.
Я бы подошел к этому как к задаче по стабилизации режима 24/7: сначала найти узкое место в цепочке парсинг → сохранение → обновление статистики, затем аккуратно разделить горячий цикл и фоновые обновления, чтобы скрипт не останавливался на длительном прогоне. Отдельно проверю, что именно дает наибольшую нагрузку — запись в таблицу, обрезка старых строк или полный пересчет статистики.
Проблему уже вижу и могу предложить рабочее решение без лишнего переписывания всего проекта.
-
1 день3999 UAH
172 1 1 1 день3999 UAH
Здравствуйте! Готов выполнить данный проект есть большой опыт разработки различных приложений
-
1 день777 UAH
1251 35 1 3 1 день777 UAH
Пробежался глазами по коду, сделаю изи.
Сделаю прямо сейчас.
-
1 день1000 UAH
434 9 0 1 день1000 UAH
Здравствуйте. Код просмотрел, вижу места, где можно улучшить. Буду рад помочь, обращайтесь.
-
1 день1000 UAH
265 1 день1000 UAH
Добрый день!
Есть опыт оптимизации парсеров, работы с Google Sheets, файлами и SQLite, а также перевода подобных процессов на более стабильное хранение данных для постоянной работы.
Занимался задачами, где нужно было убрать остановки, снизить нагрузку на Google Sheets и выстроить более надежную схему сохранения с расчетом на непрерывную работу 24/7.
Предлагаю обсудить детали, а также стоимость и сроки в личных сообщениях.
-
1 день700 UAH
530 2 0 1 день700 UAH
Здравствуйте! Я вижу проблемы с зависанием из-за частых обращений к Google Sheets и перегруженного парсинга Selenium (повторные поиски элементов, задержки, обработка устаревших элементов), поэтому предлагаю оптимизировать сбор данных (ожидание через WebDriverWait, уменьшение обращений к DOM), добавить буферизацию и пакетные запросы для Sheets или вынести сохранение в SQLite/файл, что существенно повысит скорость и стабильность работы.
-
1 день700 UAH
115 34 4 2 1 день700 UAH
Сделаю на js или kotlin, установим на впс и будет работать 24/7
Если приложенный скрипт уже работает, то можно поставить на впс его
-
1 день1000 UAH
10130 117 0 1 день1000 UAH
Здравствуйте.
Есть опыт с гугл таблицами. Могу написать для вас скрипт. Пишите, обсудим.
-
1 день700 UAH
711 5 0 1 день700 UAH
Здравствуйте, сделаю все быстро и качественно делаю лучшие парсеры цена 500 грн
-
1 день700 UAH
404 1 0 1 день700 UAH
У меня есть опыт с парсерами. Готов в личных сообщениях предложить решения и исправить/переписать ваш код. Исправления и доработки вашего скрипта бесплатные. Быстро и недорого. Жду нашего сотрудничества.
-
1 день1000 UAH
6441 74 1 1 день1000 UAH
Добрый день. У меня большой опыт в парсинге и записи в гугл таблицы, а также различных баз данных. Нужно более детальное описание ошибок или того, что именно там нужно собирать. Судя по скрипту, парсинг по хтмл тегам, это само по себе не стабильно. В таблице можно одним записом писать сразу много данных, так обходя лимиты. Свяжитесь, обсудим. Цена и срок условные.
-
1 день1000 UAH
3411 32 0 1 день1000 UAH
Здравствуйте!
Перепишу ваш сценарий под ваши нужды.
Обращайтесь за деталями в личные сообщения.
-
1 день1000 UAH
94002 1264 1 10 1 день1000 UAH
Здравствуйте. У меня большой опыт с Python. Готов изменить способ хранения данных на SQLite.
-
3 дня700 UAH
4987 41 4 1 3 дня700 UAH
Добрый день!
Готов оптимизировать ваш парсинг. Решу проблему остановок в Google Sheets или предложу альтернативное сохранение данных в файл/SQLite, обеспечив стабильную работу 24/7. Имею большой опыт с API, Google Sheets и базами данных.
Напишите мне, обсудим детали.
-
3 дня700 UAH
726 9 1 3 дня700 UAH
Здравствуйте! Ваш проект выглядит очень интересным. Я готов начать работу немедленно и обеспечить высокое качество.
-
14 дней700 UAH
927 5 0 14 дней700 UAH
Мы можем оптимизировать ваш парсинг под постоянную работу 24/7. Готовы предложить несколько решений: перенести сохранение данных из Google Sheets в локальный файл или SQLite — это устранит проблему остановки скриптов и значительно повысит стабильность. Также настроим автоматическое восстановление работы парсера в случае ошибок, мониторинг и логирование. Все процессы будут работать на отдельном сервере под наблюдением системы бесперебойного контроля. Готовы взять это на себя как комплексный сопровождение.
Актуальные фриланс-проекты в категории Базы данных и SQL
Нужен специалист по Power BI для построения управленческой отчетности на базе BAS Бухгалтерия КОРП
О компанииМы являемся дистрибьютором международных спортивных брендов в Украине. Учет ведется в BAS Бухгалтерия КОРП.Ищем специалиста, который поможет построить систему управленческой отчетности для руководства компании на базе Power BI.Важно: нас интересует не просто… Базы данных и SQL, Бухгалтерские услуги ∙ 2 дня 6 часов назад ∙ 4 ставки |
Техническое задание: Интеграция чат-бота Telegram с BAS1. Общая информация Необходимо реализовать интеграцию чат-бота с системой BAS для передачи и записи данных о товарах (заказах). 2. Входные данные (что передает чат-бот): ID группы Название товара (с кодом товара) Цена товара 3. Логика работы: При нажатии на кнопку Заказать… Автоматизация управления предприятием, Базы данных и SQL ∙ 2 дня 9 часов назад ∙ 18 ставок |
Интеграция данных 1С
Организовать качественную подготовку и переток данных из 1С в BigQuery для дальнейшего использования в Looker:Организовать данные в соответствии с тем, какие поля нужны.Подготовить понятную структуру таблиц и промежуточных наборов данных, на которых будут строиться… Базы данных и SQL, Обработка данных ∙ 4 дня 1 час назад ∙ 9 ставок |
Разработка простого системы контроллинга и управленческого учета в Google Sheets «под ключ»
Название задания: Разработка простого системы контроля и управленческого учета в Google Sheets «под ключ» для строительной компании в Польше (+ онлайн обучение и помощь при внедрении) О компании, контексте и моей главной проблеме Добрый день, Я ищу опытного специалиста Google… Базы данных и SQL, Бухгалтерские услуги ∙ 5 дней 6 часов назад ∙ 36 ставок |
Розробка аналітичного Power BI дашборду
2000 UAH
Ось такий у нас запит, потрібна людина яка розбирається з Power BI: Экран 1: Strategic Cockpit (Финансовое здоровье завода) Цель: За 5 секунд понять, «где мы теряем деньги и сколько?». KPI Tiles (Верхняя полоса): Общая маржа (Факт vs План) в %. Сумма «упущенной выгоды»… Базы данных и SQL ∙ 5 дней 9 часов назад ∙ 13 ставок |
Киев