Парсер для youcontrol.com.ua
Привет всем!
Задача такая: нужно создать парсер, который будет на выходе создавать файлик (.xlsx, .csv), где будут данные: номер телефона, имя, почта, название, тип бизнеса, ссылка на сайт (если есть).
Сайт который нужно парсить: https://youcontrol.com.ua/
Основные условия:
1) чтобы можно было парсить по определенному КВЕДУ: https://youcontrol.com.ua/catalog/kved/62/01/6201/ (например так, здесь КВЕД 6201);
2) чтобы можно было парсить по определенному городу: https://youcontrol.com.ua/catalog/company/kyev/ (например, Киев);
3) чтобы можно было парсить по запросу https://youcontrol.com.ua/search/?country=1&q=%D1%81%D1%82%D1%80%D0%BE%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F+%D1%84%D0%B8%D1%80%D0%BC%D0%B0 (например, запрос "строительная фирма");
Интересуют только компании и ФОП (судовые решения, электронные декларации и т.д. -- не нужно).
API использовать не будем, только обычный парсинг.
На сайте стоит защита от reCaptcha, поэтому этот факт тоже нужно учитывать.
От вас хотелось бы услышать объективные сроки и стоимость выполнения задачи.
Привет всем!
Задача такая: нужно создать парсер, который будет на выходе создавать файлик (.xlsx, .csv), где будут данные: номер телефона, имя, почта, название, тип бизнеса, ссылка на сайт (если есть).
Сайт который нужно парсить: https://youcontrol.com.ua/
Основные условия:
1) чтобы можно было парсить по определенному КВЕДУ: https://youcontrol.com.ua/catalog/kved/62/01/6201/ (например так, здесь КВЕД 6201);
2) чтобы можно было парсить по определенному городу: https://youcontrol.com.ua/catalog/company/kyev/ (например, Киев);
3) чтобы можно было парсить по запросу https://youcontrol.com.ua/search/?country=1&q=%D1%81%D1%82%D1%80%D0%BE%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F+%D1%84%D0%B8%D1%80%D0%BC%D0%B0 (например, запрос "строительная фирма");
Интересуют только компании и ФОП (судовые решения, электронные декларации и т.д. -- не нужно).
API использовать не будем, только обычный парсинг.
Дополнение и уточнение:
- не нужно забывать, что там стоит reCaptcha
- при множественных запросах к серверу мы можем получить 503 ошибку, а если сервер упал или кластер (точно не разбираюсь), то даже с помощью прокси не получится парсить, так как сервер лёг
Плюс уточнение процесса работы:
- сначала я выбираю опцию парсинга (парсинг по КВЕД, парсинг по городу [все компании в городе Киев], парсинг по запросу [строительная фирма]);
- далее парсер собирает данные (данных может быть 100000 - 200000 запросов, может даже больше);
- дальше я получаю файл .xlsx со всеми нужными данными: номер телефона, имя, почта, название, тип бизнеса, ссылка на сайт (если есть) + название бизнеса.
Потом я могу сразу выбрать какую-то другую опцию и получить снова актуальные данные.
Важные уточнения:
- этот парсер должен одинаково хорошо выдавать результат в любом режиме работы;
- парсер должен быть устойчив к капче и падениям сервера;
- если данных нет (а такое может быть, что нет, например email, то ставить просто прочерк --);
- интересуют только компании и ФОП;
Если все требования не будут выполнены, то проект не будет считаться завершенным.
Готов ответить на все дополнительные вопросы и уточнить процесс работы.
От вас хотелось бы услышать объективные сроки и стоимость выполнения задачи.
-
882 29 1 Здравствуйте!
Я имею большой опыт в создании парсеров.
Напишу быстро и качественно на c#
-
114 1 0 Добрый день, посмотрел сайт, готов сделать быстро и качественно, пишите в л.с., обговорим детали. На выходе будет парсер с интерфейсом и выбираемым режимом парсинга (по кведу, городу, запросу). Пример интерфейса парсера можете глянуть в порфтолио (парсер Авториа).
-
227 1 1 Добрый день! В каком виде вы будете передавать параметры парсеру, в виде файла(таблицы, списка), либо вручную в программе вбивать?
-
Добрый день,зачем вам парсер,если у нас уже есть готовое решение на сайте))
-
Актуальні фриланс-проєкти в категорії Парсинг даних
Збір бази дизайнерів, архітекторів та монтажних компаній по УкраїніОпис завдання: Потрібно зібрати актуальну базу контактів по Україні для подальшої B2B-комунікації. Потрібні категорії: Дизайнери інтер’єру Архітектори / архітектурні бюро Монтажні компанії Компанії, які займаються ремонтом, оздобленням, освітленням, натяжними стелями,… Парсинг даних ∙ 6 годин 34 хвилини тому ∙ 25 ставок |
Парсер телеграм-групи
1000 UAH
# Технічне завдання ## Мета проекту Необхідно розробити парсер Telegram-груп, який буде знаходити групи за заданими ключовими словами та зберігати результати в текстових файлах. ## Основний функціонал ### 1. Пошук груп Парсер повинен здійснювати пошук Telegram-груп за… Парсинг даних, Розробка ботів ∙ 9 годин 8 хвилин тому ∙ 42 ставки |
Парсинг товарів, підготовка до імпорту на WPСпарсити повний каталог цих сайтів: https://svit-mebliv.ua/ https://kompanit.com.ua/ru https://amia.com.ua/ https://mebliromax.com.ua/ https://pehotin.com.ua/catalog/ https://www.sokme.ua/ru/ Всі товари потрібно об'єднати в одну загальну таблицю для імпорту в WP. Кожен товар… Веб-програмування, Парсинг даних ∙ 1 день 1 година тому ∙ 50 ставок |
Шукаю програміста для OpenCartДоброго часу доби 1) потрібно впровадити на сайті dneprkomfort.dp.ua був куплений модуль для українських банків, вже впровадили Моно банк ось приклад нашого конкурента Потрібно як зробити розстрочку, покупка частинами (МоноБанк) Пумб, Сенс, Моно за замовчуванням 2 платежі… Веб-програмування, Парсинг даних ∙ 1 день 22 години тому ∙ 48 ставок |
Требуется спеціаліст з просування в Telegram.
1272 UAH
Завдання: інвайт реальних користувачів за базою юзернеймів у нові чати та розсилка повідомлень по цільовій базі. Цікавить тільки якісний трафік і робота з живою аудиторією — виконавців, які використовують ботів, накрутку або неякісні методи, прохання НЕ БЕСПОКІТЬ. Робота… Парсинг даних, Просування у соціальних мережах (SMM) ∙ 6 днів тому ∙ 9 ставок |