Задача такая: нужно создать парсер, который будет на выходе создавать файлик (.xlsx, .csv), где будут данные: номер телефона, имя, почта, название, тип бизнеса, ссылка на сайт, дата регистрации (если есть).
Сайт который нужно парсить: https://youcontrol.com.ua/
Основные условия:
1) чтобы можно было парсить по определенному КВЕДУ: https://youcontrol.com.ua/catalog/kved/62/01/6201/ (например так, здесь КВЕД 6201);
2) чтобы можно было парсить по определенному городу: https://youcontrol.com.ua/catalog/company/kyev/ (например, Киев);
3) чтобы можно было парсить по запросу https://youcontrol.com.ua/search/?country=1&q=%D1%81%D1%82%D1%80%D0%BE%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F+%D1%84%D0%B8%D1%80%D0%BC%D0%B0 (например, запрос "строительная фирма");
Интересуют только компании и ФОП (судовые решения, электронные декларации и т.д. -- не нужно).
Нужно парсить в авто режиме собирать данные из новых зарегистрированных ФЛП или компаний, фирма зарегистрировалась, мне нужны их данные.
API использовать не будем, только обычный парсинг.
Дополнение и уточнение:
- не нужно забывать, что там стоит reCaptcha
- при множественных запросах к серверу мы можем получить 503 ошибку, а если сервер упал или кластер (точно не разбираюсь), то даже с помощью прокси не получится парсить, так как сервер лёг
Плюс уточнение процесса работы:
- сначала я выбираю опцию парсинга (парсинг по КВЕД, парсинг по городу [все компании в городе Киев], парсинг по запросу [строительная фирма]);
- далее парсер собирает данные (данных может быть 100000 - 200000 запросов, может даже больше);
- дальше я получаю файл .xlsx со всеми нужными данными: номер телефона, имя, почта, название, тип бизнеса, ссылка на сайт (если есть) + название бизнеса.
Потом я могу сразу выбрать какую-то другую опцию и получить снова актуальные данные.
Важные уточнения:
- этот парсер должен одинаково хорошо выдавать результат в любом режиме работы;
- парсер должен быть устойчив к капче и падениям сервера;
- если данных нет (а такое может быть, что нет, например email, то ставить просто прочерк --);
- интересуют только компании и ФОП;
Если все требования не будут выполнены, то проект не будет считаться завершенным.
-
5592 105 2 могу предложить вам полную готовую базу юрлиц и фопов, около 7 млн. записей. и вам не нужен будет парсер.
-
74 3 1 1 Есть готовый парсер https://youcontrol.com.ua/ с обходом защиты могу через тимвивер продемонстрировать
-
246 2 0 Добрый день. могу реализовать все перечисленные вами требования но в при помощи другого решения. если интересует альтернативное решение то пишите в личные сообщения.
Актуальні фриланс-проєкти в категорії C та C++
Інженер інфраструктури резидентних проксіМи будуємо мережу резидентних проксі з нуля — повністю власну, без сторонніх постачальників. Нам потрібен один винятковий мережевий інженер, щоб побудувати всю технічну основу. Що ви будете будувати: - Android фоновий SDK, який маршрутизує проксі-трафік через пристрої… C та C++, DevOps ∙ 3 дні 1 година тому ∙ 12 ставок |
Добробка в існуючій версії 1с роздріб блоку для РЦ(розподільчого центру))в загальному поясню що у нас за база - Є загальний сервер де є дів база РОзница (де ставляться усі приходи) - база УТП- куди переливаються усі продажі - рахується націнка залишки по складах - маленькі бази роздрібних магазинів. по обмінам у нас Магазини обмінюються із базою… C та C++, C# ∙ 3 дні 16 годин тому ∙ 6 ставок |
ПО Мастер-програма «KONSTRUCTOR»
185 756 UAH
Ми шукаємо дуже досвідченого C++ розробника для модернізації існуючого ПЗ (майстер-програми). Програма відповідає за створення виробного ПЗ, що представляє аудіо-візуальні сеанси психологічної корекції. Поточна версія написана на чистому WinAPI (Visual Studio 2019/2022).… C та C++, Десктопні додатки ∙ 8 днів 19 годин тому ∙ 19 ставок |
Написання коду для ArduinoПотрібно розробити програмне забезпечення для вагового дозатора на базі Arduino Uno. Комплектуючі: Arduino Uno R3 HX711 + тензодатчик LCD1602 I2C дисплей MAX7219 світлодіодна матриця 8x32 5 кнопок керування 4-канальне реле 2 сигнальні лампи Вібромагніт грубого дозування… C та C++, Вбудовані системи та мікроконтролери ∙ 10 днів 3 години тому ∙ 15 ставок |
Потрiбно доробити проект, або надати консультацiю.
1000 UAH
|