Бюджет: 400 UAH Термін: 1 день
Готовий взятися за ваш проект!
Маю досвід в автоматизації процесів та парсингу даних.
Задача: просканировать все страницы сайта https://www.culture.ru (100+ тыс. страниц в индексе) и найти внешние ссылки (домены) с кодом ответа отличным от 200. Выгрузить список всех доменов в ексель файл.
Бюджет: 400 UAH Термін: 1 день
Готовий взятися за ваш проект!
Маю досвід в автоматизації процесів та парсингу даних.
Хочу уточнить!
Нужно сканировать ссылки находящиеся на страницах сайта и не активные записывать в excel так?
или еще что-то
Может так более понятно будет: Цель парсинга найти домены, которые уже не работают (не продленные владельцами). Но находсятся на страницах сайта
culture.ru (Например в какой то статье писали про фестиваль, он прошел, ссылка осталась, а домен уже не рабочий и отдает ошибку отличающуюся от 200)
Для этого надо просканировать все страницы сайта и найти такие домены.
Могу сделать карту сайта(получить все доступные страницы) и потом написать скрипт пройтись по страницам сайта собирая и проверяя доступность ссылок на каждой странице.
На сайте кучу, как вы говорите доменов.
Есть:
https://www.culture.ru/themes/
https://www.culture.ru/materials/
https://www.culture.ru/movies/ и тп.
Какие подразделы(домены) вам конкретно парсить?
Если конечно я вас правильно понял, и указал те ссылки(домены), про которые вы говорите
Доброго дня,Замовлю створення стабільного та надійного рішення для автоматичного моніторингу цін та доступності продуктів з конкретного, великого польського інтернет-магазину в галузі RTV/AGD.Мета проекту: Система повинна регулярно перевіряти вибрані продуктові посилання і у разі зміни ціни або статусу доступності надсилати сповіщення (найкраще через Telegram, Discord або електронну пошту – на узгодження).Виклик: Сайт магазину має дуже агресивні антибот-системи (Akamai/Cloudflare). Звичайні скрипти, що завантажують код сторінки, миттєво виявляються та блокуються. Рішення повинно ефективно обходити ці захисти, маскувати трафік бота та працювати стабільно в довгостроковій перспективі, без постійного виникнення помилок "Access Denied".Що я очікую від виконавця: Запропонувати повну архітектуру та технології (не нав'язую мову програмування чи конкретні інструменти). Надати готове рішення, яке я зможу легко запустити та ним керувати. Поради щодо інфраструктури (наприклад, які проксі будуть необхідні, щоб система працювала без проблем).У відповіді на оголошення, будь ласка, коротко опишіть: Який підхід/технологію ви пропонуєте, щоб ефективно та довгостроково обходити захисти цього магазину? Як ви бачите питання передачі сповіщень? Яка орієнтовна вартість виконання та час реалізації?Запрошую до подання пропозицій.
Про компанію Торговельна компанія. Працюємо з товарною групою більш ніж 2000 позицій за різними категоріями.Поточна ситуація Зараз номенклатура ведеться в Google Sheets — дані консолідовані за вкладками (категоріями). Структура вкладок: Назва товару Групи цін: собівартість, опт, роздріб Характеристики: вага, кількість в упаковці тощо. Важливо: кількість колонок відрізняється для різних категорій товарів, оскільки у них різні характеристики.Чому поточне рішення не підходить Google Sheets не дозволяє налаштовувати права доступу на рівні окремих колонок. Нам потрібно: Надавати користувачам права на перегляд певних колонок (наприклад, тільки собівартості) Надавати права на редагування певних колонок (наприклад, роздрібних цін) При цьому обмежувати доступ до інших колонок в тій же вкладціЩо потрібно зробитиОсновні вимоги Гнучка система розмежування прав Доступ на рівні окремих колонок (читання / запис) Призначення прав за ролями або користувачами Управління правами без участі програмістів Підтримка різної структури даних Різні категорії товарів мають різний набір характеристик Додавання нових колонок/характеристик без програмування Незалежність від розробників Адміністрування силами внутрішніх співробітників Додавання категорій, колонок, користувачів — через інтерфейс Інтеграція з ERP Вивантаження актуальних цін в нашу ERP-систему Експорт або автоматична інтеграція через API Аналіз даних за допомогою ШІ (бажано) Можливість аналізу всього переліку номенклатури Збагачення, перевірка, рекомендації — якщо у вас є ідеї, опишітьОчікуваний результат Працююче рішення, в якому: Номенклатура структурована за категоріями з різними наборами характеристик Права на колонки гнучко налаштовуються (перегляд / редагування) Дані вивантажуються в ERP Команда може управляти системою самостійноЩо потрібно від вас при відгуку Опишіть в загальних рисах, як ви бачите рішення: Який інструмент / платформу пропонуєте
Потрібно розробити просту програму або Telegram-бота для парсингу учасників чатів і обговорень каналів у Telegram. Функціонал: Користувач вводить посилання на канал або чат. Якщо вказано посилання на канал, програма повинна автоматично переходити в розділ «Обговорення» і виконувати парсинг саме учасників обговорення. В результаті необхідно вивантажувати тільки унікальні посилання на профілі користувачів без повторень. Додаткові вимоги до відбору: В вибірку повинні потрапляти тільки користувачі, у яких у профілі вказано власний публічний канал. Канал користувача повинен мати не менше 200 підписників. Користувачі з каналами меншого розміру не підходять. Потрібен максимально простий і зручний інструмент: достатньо вставити посилання і запустити збір даних за вказаними критеріями. Я не є програмістом, тому буду вдячний за оцінку реалізованості такого рішення і ваші пропозиції щодо оптимального способу розробки. Стандартні парсери нас не цікавлять — потрібна реалізація саме описаної вище логіки відбору. Відповідь на ваші пропозиції може бути протягом дня.
Добрий вечір, є задача: треба 1-2 раза на день перевіряти наявність і актуальність цін товарів які додані на сайт (сайт на платформі prom.ua) з сайту постачальника. Можете прорахувати ціну і як це буде виглядати.
Налаштувати автоматичне оновлення раз в день наявність товарів на нашому сайті на пром.юа. Маємо постачальника, він відправляє прайс лист товарів в ексель форматі на нашу електронну пошту кожен день. Артикули на нашому сайті та в прайсі постачальника однакові. Значення в стовпці "залишки" або немає в наявності, або число, або більше ящика - треба оновлювати на сайті в стан Готово до відправки або Немає в наявності. Артикули, що не немає в прайсі постачальника - залишати без змін. Запропонуйте будь ласка рішення, термін і бюджет. Дякую за відгук завчасно, чекаю фахівця для співпраці.