Парсер для youcontrol.com.ua
Привет всем!
Задача такая: нужно создать парсер, который будет на выходе создавать файлик (.xlsx, .csv), где будут данные: номер телефона, имя, почта, название, тип бизнеса, ссылка на сайт (если есть).
Сайт который нужно парсить: https://youcontrol.com.ua/
Основные условия:
1) чтобы можно было парсить по определенному КВЕДУ: https://youcontrol.com.ua/catalog/kved/62/01/6201/ (например так, здесь КВЕД 6201);
2) чтобы можно было парсить по определенному городу: https://youcontrol.com.ua/catalog/company/kyev/ (например, Киев);
3) чтобы можно было парсить по запросу https://youcontrol.com.ua/search/?country=1&q=%D1%81%D1%82%D1%80%D0%BE%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F+%D1%84%D0%B8%D1%80%D0%BC%D0%B0 (например, запрос "строительная фирма");
Интересуют только компании и ФОП (судовые решения, электронные декларации и т.д. -- не нужно).
API использовать не будем, только обычный парсинг.
На сайте стоит защита от reCaptcha, поэтому этот факт тоже нужно учитывать.
От вас хотелось бы услышать объективные сроки и стоимость выполнения задачи.
Привет всем!
Задача такая: нужно создать парсер, который будет на выходе создавать файлик (.xlsx, .csv), где будут данные: номер телефона, имя, почта, название, тип бизнеса, ссылка на сайт (если есть).
Сайт который нужно парсить: https://youcontrol.com.ua/
Основные условия:
1) чтобы можно было парсить по определенному КВЕДУ: https://youcontrol.com.ua/catalog/kved/62/01/6201/ (например так, здесь КВЕД 6201);
2) чтобы можно было парсить по определенному городу: https://youcontrol.com.ua/catalog/company/kyev/ (например, Киев);
3) чтобы можно было парсить по запросу https://youcontrol.com.ua/search/?country=1&q=%D1%81%D1%82%D1%80%D0%BE%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F+%D1%84%D0%B8%D1%80%D0%BC%D0%B0 (например, запрос "строительная фирма");
Интересуют только компании и ФОП (судовые решения, электронные декларации и т.д. -- не нужно).
API использовать не будем, только обычный парсинг.
Дополнение и уточнение:
- не нужно забывать, что там стоит reCaptcha
- при множественных запросах к серверу мы можем получить 503 ошибку, а если сервер упал или кластер (точно не разбираюсь), то даже с помощью прокси не получится парсить, так как сервер лёг
Плюс уточнение процесса работы:
- сначала я выбираю опцию парсинга (парсинг по КВЕД, парсинг по городу [все компании в городе Киев], парсинг по запросу [строительная фирма]);
- далее парсер собирает данные (данных может быть 100000 - 200000 запросов, может даже больше);
- дальше я получаю файл .xlsx со всеми нужными данными: номер телефона, имя, почта, название, тип бизнеса, ссылка на сайт (если есть) + название бизнеса.
Потом я могу сразу выбрать какую-то другую опцию и получить снова актуальные данные.
Важные уточнения:
- этот парсер должен одинаково хорошо выдавать результат в любом режиме работы;
- парсер должен быть устойчив к капче и падениям сервера;
- если данных нет (а такое может быть, что нет, например email, то ставить просто прочерк --);
- интересуют только компании и ФОП;
Если все требования не будут выполнены, то проект не будет считаться завершенным.
Готов ответить на все дополнительные вопросы и уточнить процесс работы.
От вас хотелось бы услышать объективные сроки и стоимость выполнения задачи.
-
882 29 1 Здравствуйте!
Я имею большой опыт в создании парсеров.
Напишу быстро и качественно на c#
-
114 1 0 Добрый день, посмотрел сайт, готов сделать быстро и качественно, пишите в л.с., обговорим детали. На выходе будет парсер с интерфейсом и выбираемым режимом парсинга (по кведу, городу, запросу). Пример интерфейса парсера можете глянуть в порфтолио (парсер Авториа).
-
227 1 1 Добрый день! В каком виде вы будете передавать параметры парсеру, в виде файла(таблицы, списка), либо вручную в программе вбивать?
-
Добрый день,зачем вам парсер,если у нас уже есть готовое решение на сайте))
-
Актуальные фриланс-проекты в категории Парсинг данных
Сбор базы дизайнеров, архитекторов и монтажных компаний по УкраинеОписание задания: Необходимо собрать актуальную базу контактов по Украине для дальнейшей B2B-коммуникации. Нужны категории: Дизайнеры интерьера Архитекторы / архитектурные бюро Монтажные компании Компании, которые занимаются ремонтом, отделкой, освещением, натяжными… Парсинг данных ∙ 7 часов 48 минут назад ∙ 26 ставок |
Парсер телеграмм группы
1000 UAH
# Техническое задание ## Цель проекта Необходимо разработать парсер Telegram-групп, который будет находить группы по заданным ключевым словам и сохранять результаты в текстовых файлах. ## Основной функционал ### 1. Поиск групп Парсер должен производить поиск… Парсинг данных, Разработка ботов ∙ 10 часов 22 минуты назад ∙ 42 ставки |
Парсинг товаров, подготовка к импорту на WPСпарсить полный каталог этих сайтов: https://svit-mebliv.ua/ https://kompanit.com.ua/ru https://amia.com.ua/ https://mebliromax.com.ua/ https://pehotin.com.ua/catalog/ https://www.sokme.ua/ru/ Все товары нужно объединить в одну обющую таблицу для импорта в WP. Каждый товар… Веб-программирование, Парсинг данных ∙ 1 день 2 часа назад ∙ 51 ставка |
Шукаю програміста для опен картаДоброе время суток 1)нужно внедрить на сайте dneprkomfort.dp.ua был куплен модуль для украинских банков уже внедрили Моно банк вот пример нашего конкурента Нужно как cделать розсрочку, покупка частями (МоноБанк) Пумб, Сенс, Моно по умолчанию 2 платежа 2 мес Пумб по умолчанию 3… Веб-программирование, Парсинг данных ∙ 1 день 23 часа назад ∙ 48 ставок |
Требуется специалист по продвижению в Telegram.
1272 UAH
Задачи: инвайт реальных пользователей по базе юзернеймов в новые чаты и рассылка сообщений по целевой базе. Интересует только качественный трафик и работа с живой аудиторией — исполнителей, использующих ботов, накрутку или некачественные методы, просьба НЕ БЕСПОКОИТЬ. Работа… Парсинг данных, Продвижение в социальных сетях (SMM) ∙ 6 дней 2 часа назад ∙ 9 ставок |