Нужен специалист для написания парсеров, который сможет обходить CLOUDFRAME. Парсинг товаров происходит с сайтов с авторизацией. Есть 10+ доноров различной сложности, с разной степенью защиты. Парсинг товаров происходит с сайтов с авторизацией. Парсит данные в готовую базу данных Mysql + фотографии на сервер. Необходимо написать парсер в соответствии с задачами, описанными в техническом задании, и адаптировать данные к существующей базе данных для полноценной работы на сайте. ТЗ и пример донора по запросу. Десктопные парсеры и C# не рассматриваем.
Ставки скрыты
Ставки пока отсутствуют
Ставки скрыты
Ставки скрыты
-
Владимир Котелевский
4 февраля 2022
я не с сайта хочу парсить, а из интернета.
автоматизировать ручной поиск, так сказать.
в поисковике задаешь запрос, получаешь выдачу
-
Денис М. 4 февраля 2022Могу вам предложить парсер через Google Maps, будет искать в определённом городе нужные вам позиции,и если есть сайт до добавлять его,если нету то добавлять номер телефона который указан
-
Владимир Котелевский
4 февраля 2022
Т.е. можно задать в нем город (например, Харьков) и запрос (например - секс-шоп) и он выдаст все адреса, которые указаны на картах + сайты, если к этим адресам привязаны?
А как быть в этом случае, с сайтами, которые часто вообще к городу не привязаны, а во втором случае - на сайте все города крупные Украины указаны, так что не разберешь, в каком они городе (хозяева) и только в третьем сзучае указан какой-то адрес (правда, часто фейковый)
И насколько я знаю, Гугл-картами часто принебрегают (не указывают на хих свои магазины) - поэтому может быть какой-то другой поисковик?
Или что думаете?
-
Денис М. 5 февраля 2022Могу вам предложить парсер через обычную поисковую строку,но нужно обговорить всё подробнее в личных сообщениях
-
Денис М. 5 февраля 2022Для вашего бюджета подходит вариант с парсингом Google Maps. Для парсинга поисковой строки прийдётся умножить ваш бюджет как минимум в 3 раза а то и более, объясняю почему: в поисковой строке попадаются разные сайты,у них разная структура,наполнение,ХТМЛ теги. Следуя из всего этого, парсер должен быть универсальным, для каждого сайта, но за такую сумму я не думаю что кто-то на это согласится. Если бы речь шла об одном сайте где собраны вся нужная вам информация тогда было бы уже дешевле и проще. А так, парсер должен проделать такой путь -> открыть поиск -> ввести запрос -> зайти на сайт -> найти нужную информацию(которая может быть скрыта в других страницах,а их тоже нужно найти) -> сохранить -> вернуться в поиск и продолжить далее
-
Andrii Kuzmych 5 февраля 2022Здраствуйте, могу вам предложить сделать парсер под этот сайт https://www.ua-region.com.ua/
Если вам канешно подходит категории которые там есть в каталоге
-
Владимир Котелевский
5 февраля 2022
Там по моим запросам (всем) десятка 2 организаций. Так что этот ресурс не подходит. Нужно интернет парсить, а не один сайт..
Актуальные фриланс-проекты в категории Парсинг данных
Необходимо сделать телеграм бота с программой, которая будет мониторить объявления на трех сайтах по аренде квартир (olx, lun, rieltor.ua) и отправлять их структурировано в телеграм
необходимо организовать способ сбора новосозданных ФОПов и по возможности ТОВ. парсинг это, или что-то еще - скажите вы, каким это должен быть способ
Добрый день,Я поручаю создание стабильного и надежного решения для автоматического мониторинга цен и доступности продуктов из конкретного, крупного польского интернет-магазина в области RTV/AGD.Цель проекта: Система должна регулярно проверять выбранные продуктовые ссылки и в случае изменения цены или статуса доступности отправлять уведомление (предпочтительно в Telegram, Discord или по электронной почте – по согласованию).Задача: Сайт магазина имеет очень агрессивные антибот-системы (Akamai/Cloudflare). Обычные скрипты, загружающие код страницы, немедленно обнаруживаются и блокируются. Решение должно эффективно обходить эти защиты, маскировать трафик бота и работать стабильно в долгосрочной перспективе, без постоянного появления ошибок "Access Denied".Что я ожидаю от исполнителя: Предложить полную архитектуру и технологии (я не навязываю язык программирования или конкретные инструменты). Предоставить готовое решение, которое я смогу легко запустить и управлять им. Советы по инфраструктуре (например, какие прокси будут необходимы для бесперебойной работы системы).В ответ на объявление прошу кратко описать: Какой подход/технологию вы предлагаете, чтобы эффективно и в долгосрочной перспективе обходить защиты этого магазина? Как вы видите вопрос передачи уведомлений? Какова ориентировочная стоимость выполнения и срок реализации?Приглашаю к подаче заявок.
О компании Торговая компания. Работаем с товарной группой более 2000 позиций по разным категориям.Текущая ситуация Сейчас номенклатура ведётся в Google Sheets — данные консолидированы по вкладкам (категориям). Структура вкладок: Наименование товара Группы цен: себестоимость, опт, розница Характеристики: вес, количество в упаковке и т.д. Важно: количество колонок отличается для разных категорий товаров, так как у них разные характеристики.Почему текущее решение не подходит Google Sheets не позволяет настраивать права доступа на уровне отдельных колонок. Нам нужно: Давать пользователям права на просмотр определённых колонок (например, только себестоимости) Давать права на редактирование определённых колонок (например, розничных цен) При этом ограничивать доступ к остальным колонкам в той же вкладкеЧто нужно сделатьОсновные требования Гибкая система разграничения прав Доступ на уровне отдельных колонок (чтение / запись) Назначение прав по ролям или пользователям Управление правами без участия программистов Поддержка разной структуры данных Разные категории товаров имеют разный набор характеристик Добавление новых колонок/характеристик без программирования Независимость от разработчиков Администрирование силами внутренних сотрудников Добавление категорий, колонок, пользователей — через интерфейс Интеграция с ERP Выгрузка актуальных цен в нашу ERP-систему Экспорт или автоматическая интеграция по API Анализ данных с помощью ИИ (желательно) Возможность анализа всего перечня номенклатуры Обогащение, проверка, рекомендации — если у вас есть идеи, опишитеОжидаемый результат Работающее решение, в котором: Номенклатура структурирована по категориям с разными наборами характеристик Права на колонки гибко настраиваются (просмотр / редактирование) Данные выгружаются в ERP Команда может управлять системой самостоятельноЧто нужно от вас при отклике Опишите в общих чертах, как вы видите решение: Какой инструмент / платформу предлагаете