Парсінг даних з сайту (Parsing/data scraping)

необхідно організувати спосіб збору новостворених ФОПів та по можливості ТОВ. парсинг це, чи ще щось - скажіть ви, який це має бути спосіб

Доброго дня,Замовлю створення стабільного та надійного рішення для автоматичного моніторингу цін та доступності продуктів з конкретного, великого польського інтернет-магазину в галузі RTV/AGD.Мета проекту: Система повинна регулярно перевіряти вибрані продуктові посилання і у разі зміни ціни або статусу доступності надсилати сповіщення (найкраще через Telegram, Discord або електронну пошту – на узгодження).Виклик: Сайт магазину має дуже агресивні антибот-системи (Akamai/Cloudflare). Звичайні скрипти, що завантажують код сторінки, миттєво виявляються та блокуються. Рішення повинно ефективно обходити ці захисти, маскувати трафік бота та працювати стабільно в довгостроковій перспективі, без постійного виникнення помилок "Access Denied".Що я очікую від виконавця: Запропонувати повну архітектуру та технології (не нав'язую мову програмування чи конкретні інструменти). Надати готове рішення, яке я зможу легко запустити та ним керувати. Поради щодо інфраструктури (наприклад, які проксі будуть необхідні, щоб система працювала без проблем).У відповіді на оголошення, будь ласка, коротко опишіть: Який підхід/технологію ви пропонуєте, щоб ефективно та довгостроково обходити захисти цього магазину? Як ви бачите питання передачі сповіщень? Яка орієнтовна вартість виконання та час реалізації?Запрошую до подання пропозицій.

Про компанію Торговельна компанія. Працюємо з товарною групою більш ніж 2000 позицій за різними категоріями.Поточна ситуація Зараз номенклатура ведеться в Google Sheets — дані консолідовані за вкладками (категоріями). Структура вкладок: Назва товару Групи цін: собівартість, опт, роздріб Характеристики: вага, кількість в упаковці тощо. Важливо: кількість колонок відрізняється для різних категорій товарів, оскільки у них різні характеристики.Чому поточне рішення не підходить Google Sheets не дозволяє налаштовувати права доступу на рівні окремих колонок. Нам потрібно: Надавати користувачам права на перегляд певних колонок (наприклад, тільки собівартості) Надавати права на редагування певних колонок (наприклад, роздрібних цін) При цьому обмежувати доступ до інших колонок в тій же вкладціЩо потрібно зробитиОсновні вимоги Гнучка система розмежування прав Доступ на рівні окремих колонок (читання / запис) Призначення прав за ролями або користувачами Управління правами без участі програмістів Підтримка різної структури даних Різні категорії товарів мають різний набір характеристик Додавання нових колонок/характеристик без програмування Незалежність від розробників Адміністрування силами внутрішніх співробітників Додавання категорій, колонок, користувачів — через інтерфейс Інтеграція з ERP Вивантаження актуальних цін в нашу ERP-систему Експорт або автоматична інтеграція через API Аналіз даних за допомогою ШІ (бажано) Можливість аналізу всього переліку номенклатури Збагачення, перевірка, рекомендації — якщо у вас є ідеї, опишітьОчікуваний результат Працююче рішення, в якому: Номенклатура структурована за категоріями з різними наборами характеристик Права на колонки гнучко налаштовуються (перегляд / редагування) Дані вивантажуються в ERP Команда може управляти системою самостійноЩо потрібно від вас при відгуку Опишіть в загальних рисах, як ви бачите рішення: Який інструмент / платформу пропонуєте

Добрий вечір, є задача: треба 1-2 раза на день перевіряти наявність і актуальність цін товарів які додані на сайт (сайт на платформі prom.ua) з сайту постачальника. Можете прорахувати ціну і як це буде виглядати.

Налаштувати автоматичне оновлення раз в день наявність товарів на нашому сайті на пром.юа. Маємо постачальника, він відправляє прайс лист товарів в ексель форматі на нашу електронну пошту кожен день. Артикули на нашому сайті та в прайсі постачальника однакові. Значення в стовпці "залишки" або немає в наявності, або число, або більше ящика - треба оновлювати на сайті в стан Готово до відправки або Немає в наявності. Артикули, що не немає в прайсі постачальника - залишати без змін. Запропонуйте будь ласка рішення, термін і бюджет. Дякую за відгук завчасно, чекаю фахівця для співпраці.