2 млн сторінок

необхідно організувати спосіб збору новостворених ФОПів та по можливості ТОВ. парсинг це, чи ще щось - скажіть ви, який це має бути спосіб

Доброго дня,Замовлю створення стабільного та надійного рішення для автоматичного моніторингу цін та доступності продуктів з конкретного, великого польського інтернет-магазину в галузі RTV/AGD.Мета проекту: Система повинна регулярно перевіряти вибрані продуктові посилання і у разі зміни ціни або статусу доступності надсилати сповіщення (найкраще через Telegram, Discord або електронну пошту – на узгодження).Виклик: Сайт магазину має дуже агресивні антибот-системи (Akamai/Cloudflare). Звичайні скрипти, що завантажують код сторінки, миттєво виявляються та блокуються. Рішення повинно ефективно обходити ці захисти, маскувати трафік бота та працювати стабільно в довгостроковій перспективі, без постійного виникнення помилок "Access Denied".Що я очікую від виконавця: Запропонувати повну архітектуру та технології (не нав'язую мову програмування чи конкретні інструменти). Надати готове рішення, яке я зможу легко запустити та ним керувати. Поради щодо інфраструктури (наприклад, які проксі будуть необхідні, щоб система працювала без проблем).У відповіді на оголошення, будь ласка, коротко опишіть: Який підхід/технологію ви пропонуєте, щоб ефективно та довгостроково обходити захисти цього магазину? Як ви бачите питання передачі сповіщень? Яка орієнтовна вартість виконання та час реалізації?Запрошую до подання пропозицій.

Про компанію Торговельна компанія. Працюємо з товарною групою більш ніж 2000 позицій за різними категоріями.Поточна ситуація Зараз номенклатура ведеться в Google Sheets — дані консолідовані за вкладками (категоріями). Структура вкладок: Назва товару Групи цін: собівартість, опт, роздріб Характеристики: вага, кількість в упаковці тощо. Важливо: кількість колонок відрізняється для різних категорій товарів, оскільки у них різні характеристики.Чому поточне рішення не підходить Google Sheets не дозволяє налаштовувати права доступу на рівні окремих колонок. Нам потрібно: Надавати користувачам права на перегляд певних колонок (наприклад, тільки собівартості) Надавати права на редагування певних колонок (наприклад, роздрібних цін) При цьому обмежувати доступ до інших колонок в тій же вкладціЩо потрібно зробитиОсновні вимоги Гнучка система розмежування прав Доступ на рівні окремих колонок (читання / запис) Призначення прав за ролями або користувачами Управління правами без участі програмістів Підтримка різної структури даних Різні категорії товарів мають різний набір характеристик Додавання нових колонок/характеристик без програмування Незалежність від розробників Адміністрування силами внутрішніх співробітників Додавання категорій, колонок, користувачів — через інтерфейс Інтеграція з ERP Вивантаження актуальних цін в нашу ERP-систему Експорт або автоматична інтеграція через API Аналіз даних за допомогою ШІ (бажано) Можливість аналізу всього переліку номенклатури Збагачення, перевірка, рекомендації — якщо у вас є ідеї, опишітьОчікуваний результат Працююче рішення, в якому: Номенклатура структурована за категоріями з різними наборами характеристик Права на колонки гнучко налаштовуються (перегляд / редагування) Дані вивантажуються в ERP Команда може управляти системою самостійноЩо потрібно від вас при відгуку Опишіть в загальних рисах, як ви бачите рішення: Який інструмент / платформу пропонуєте

Потрібно розробити просту програму або Telegram-бота для парсингу учасників чатів і обговорень каналів у Telegram. Функціонал: Користувач вводить посилання на канал або чат. Якщо вказано посилання на канал, програма повинна автоматично переходити в розділ «Обговорення» і виконувати парсинг саме учасників обговорення. В результаті необхідно вивантажувати тільки унікальні посилання на профілі користувачів без повторень. Додаткові вимоги до відбору: В вибірку повинні потрапляти тільки користувачі, у яких у профілі вказано власний публічний канал. Канал користувача повинен мати не менше 200 підписників. Користувачі з каналами меншого розміру не підходять. Потрібен максимально простий і зручний інструмент: достатньо вставити посилання і запустити збір даних за вказаними критеріями. Я не є програмістом, тому буду вдячний за оцінку реалізованості такого рішення і ваші пропозиції щодо оптимального способу розробки. Стандартні парсери нас не цікавлять — потрібна реалізація саме описаної вище логіки відбору. Відповідь на ваші пропозиції може бути протягом дня.

Добрий вечір, є задача: треба 1-2 раза на день перевіряти наявність і актуальність цін товарів які додані на сайт (сайт на платформі prom.ua) з сайту постачальника. Можете прорахувати ціну і як це буде виглядати.