Спарсить 2 млн страниц

Добрый день,Я поручаю создание стабильного и надежного решения для автоматического мониторинга цен и доступности продуктов из конкретного, крупного польского интернет-магазина в области RTV/AGD.Цель проекта: Система должна регулярно проверять выбранные продуктовые ссылки и в случае изменения цены или статуса доступности отправлять уведомление (предпочтительно в Telegram, Discord или по электронной почте – по согласованию).Задача: Сайт магазина имеет очень агрессивные антибот-системы (Akamai/Cloudflare). Обычные скрипты, загружающие код страницы, немедленно обнаруживаются и блокируются. Решение должно эффективно обходить эти защиты, маскировать трафик бота и работать стабильно в долгосрочной перспективе, без постоянного появления ошибок "Access Denied".Что я ожидаю от исполнителя: Предложить полную архитектуру и технологии (я не навязываю язык программирования или конкретные инструменты). Предоставить готовое решение, которое я смогу легко запустить и управлять им. Советы по инфраструктуре (например, какие прокси будут необходимы для бесперебойной работы системы).В ответ на объявление прошу кратко описать: Какой подход/технологию вы предлагаете, чтобы эффективно и в долгосрочной перспективе обходить защиты этого магазина? Как вы видите вопрос передачи уведомлений? Какова ориентировочная стоимость выполнения и срок реализации?Приглашаю к подаче заявок.

О компании Торговая компания. Работаем с товарной группой более 2000 позиций по разным категориям.Текущая ситуация Сейчас номенклатура ведётся в Google Sheets — данные консолидированы по вкладкам (категориям). Структура вкладок: Наименование товара Группы цен: себестоимость, опт, розница Характеристики: вес, количество в упаковке и т.д. Важно: количество колонок отличается для разных категорий товаров, так как у них разные характеристики.Почему текущее решение не подходит Google Sheets не позволяет настраивать права доступа на уровне отдельных колонок. Нам нужно: Давать пользователям права на просмотр определённых колонок (например, только себестоимости) Давать права на редактирование определённых колонок (например, розничных цен) При этом ограничивать доступ к остальным колонкам в той же вкладкеЧто нужно сделатьОсновные требования Гибкая система разграничения прав Доступ на уровне отдельных колонок (чтение / запись) Назначение прав по ролям или пользователям Управление правами без участия программистов Поддержка разной структуры данных Разные категории товаров имеют разный набор характеристик Добавление новых колонок/характеристик без программирования Независимость от разработчиков Администрирование силами внутренних сотрудников Добавление категорий, колонок, пользователей — через интерфейс Интеграция с ERP Выгрузка актуальных цен в нашу ERP-систему Экспорт или автоматическая интеграция по API Анализ данных с помощью ИИ (желательно) Возможность анализа всего перечня номенклатуры Обогащение, проверка, рекомендации — если у вас есть идеи, опишитеОжидаемый результат Работающее решение, в котором: Номенклатура структурирована по категориям с разными наборами характеристик Права на колонки гибко настраиваются (просмотр / редактирование) Данные выгружаются в ERP Команда может управлять системой самостоятельноЧто нужно от вас при отклике Опишите в общих чертах, как вы видите решение: Какой инструмент / платформу предлагаете

Требуется разработать простую программу или Telegram-бота для парсинга участников чатов и обсуждений каналов в Telegram. Функционал: Пользователь вводит ссылку на канал или чат. Если указана ссылка на канал, программа должна автоматически переходить в раздел «Обсуждения» и выполнять парсинг именно участников обсуждения. В результате необходимо выгружать только уникальные ссылки на профили пользователей без повторений. Дополнительные требования к отбору: В выборку должны попадать только пользователи, у которых в профиле указан собственный публичный канал. Канал пользователя должен иметь не менее 200 подписчиков. Пользователи с каналами меньшего размера не подходят. Нужен максимально простой и удобный инструмент: достаточно вставить ссылку и запустить сбор данных по указанным критериям. Я не являюсь программистом, поэтому буду признателен за оценку реализуемости такого решения и ваши предложения по оптимальному способу разработки. Стандартные парсеры нас не интересуют — требуется реализация именно описанной выше логики отбора. Ответ на ваши предложения может быть в течение дня.

Добрый вечер, есть задача: нужно 1-2 раза в день проверять наличие и актуальность цен товаров, которые добавлены на сайт (сайт на платформе prom.ua) с сайта поставщика. Можете рассчитать цену и как это будет выглядеть.

Настроить автоматическое обновление раз в день наличия товаров на нашем сайте на пром.юа. У нас есть поставщик, он отправляет прайс-лист товаров в эксель-формате на нашу электронную почту каждый день. Артикулы на нашем сайте и в прайсе поставщика одинаковые. Значение в столбце "остатки" либо отсутствует, либо число, либо больше ящика - нужно обновлять на сайте в состояние Готово к отправке или Нет в наличии. Артикулы, которых нет в прайсе поставщика - оставлять без изменений. Предложите, пожалуйста, решение, срок и бюджет. Спасибо за отзыв заранее, жду специалиста для сотрудничества.