Парсинг email из вакансий
1274 UAHЗдравствуйте уважаемые исполнители, нужно реализовать следующую задачу:
Спарсить email из вакансий на сайте https://jobboerse.arbeitsagentur.de/vamJB/startseite.html , по списку
специальностей (список предоставлю).
Получение емейлы в таблицу сохранять не нужно, желательно сохранить их в json формате, для дальнейшей обработки и вставки в mongoDB, могу отдать эту задачу вам, если есть опыт работы с mongoDB (ниже подробнее).
После парсинга сделать несколько процедур с полученными emails:
Оставить уникальные emails, повторяющиеся удалить.
Проверить валидатором “живые” email, не валидные удалить.
Сервис предоставлю, делается достаточно просто, посылается реквест с email на их API, возвращается boolean, можно перебрать обычным циклом, либо проверять сразу при получение email из вакансии.
(По возможности, если есть навыки работы с mongoDB) Подконектить уже имеющуюся удаленную БД со списком email и сравнить, убрав совпадающие email (типо как сравнения таблиц в sql). Если нет навыков работы с mongoDB, тогда допишется реквест для уже существующего API, который будет возвращать объект со списком емейлов из базы, для последующий обработки. После сравнения и отсеивания совпадающих мейлов отправить реквест на API, для добавления “чистого” списка емейлов в БД.
Также нужно настроить cron, который будет ежедневно запускать парсер с выше описанным функционалом.
Работа не одноразовая, так как надо еще минимум 4 аналогичных парсинга с других ресурсов, их функционал и логика будет аналогичным как описано выше, только другой сайт.
По сроках, желательно успеть реализовать за неделю от момента взятия заказа.
Просьба также указать используемые технологии для парсинга.
Спасибо за внимание и уделенное время, с нетерпением жду ваших предложений! =)
Отзыв заказчика о сотрудничестве с фрилансером
Парсинг email из вакансийОтличный исполнитель, настоятельно рекомендую!
Без проблем справился с задачей парсинга и также над интеграцией и работой со сторонней базой данных.
По невзрачности сайта сразу и не скажешь что нём просто неимоверная защита от парсинга (токены, сессии и т д ), но это не стало помехой справится с задачей в сроки.
Успешно была проделана работа с прокси.
Также во время обсуждения автоматизации парсера исполнитель подметил некоторые моменты в ТЗ которые я упустил и подчеркнул это, что не мало важно, так как он попросту мог проигнорировать это.
На счёт настройки vps и cron, с этим он тоже справился без проблем.
Пока что всё работает отлично, нареканий нет, в ходе работы с информацией из парсера буду видеть 100% результат работы, но я уверен что проблем не возникнет.
Я доволен, рекомендую! =)
Отзыв фрилансера о сотрудничестве с Владиславом Стоцьким
Парсинг email из вакансийОтличный заказчик. Четко и подробно объяснил, что он хочет получить в итоге.
![]()
Актуальные фриланс-проекты в категории Парсинг данных
Консультация по парсингу подписчиков Instagram-аккаунтовЗдравствуйте. Необходимо провести предварительную оценку возможности выполнения следующей задачи. У меня есть список Instagram-аккаунтов. Цель — получить контактные данные (в первую очередь email-адреса) пользователей, которые подписаны на эти аккаунты. Ранее мне встречались… Парсинг данных ∙ 5 часов 29 минут назад ∙ 3 ставки |
Нужен специалист для поиска контактов ЛПР по УкраинеНеобходимо собрать базу (или готовую базу) контактов лиц, принимающих решения (ЛПР), в компаниях Украины. Поиск и сбор информации, Парсинг данных ∙ 10 часов 1 минута назад ∙ 9 ставок |
Необходимо спарсить данные из LinkedinНеобходимо спарсить данные с Linkedin по нашему списку. Для каждой записи нужно найти и собрать доступные данные, если такие есть на Linkedin профиле, включая фотографию профиля в соцсети Linkedin, email-адрес, ссылки на социальные сети, вебсайт компании, номер телефона. Все… Парсинг данных ∙ 15 часов 48 минут назад ∙ 19 ставок |
Парсинг и классификация данныхИщем разработчика для реализации системы сбора и структурирования данных из открытых источников. У нас есть база владельцев малого бизнеса в США, которая содержит имя человека, название компании, адрес и штат. Необходимо построить процесс обогащения этих записей дополнительной… Веб-программирование, Парсинг данных ∙ 16 часов 57 минут назад ∙ 33 ставки |
Свитлагата
750 UAH
Необходимо импортировать 1819 товаров из XML/YML-фида Prom.ua в OpenCart 3. Есть готовый XML-файл, который содержит названия товаров, описания, цены, фотографии, характеристики, производителей и категории. Необходимо: импортировать все товары в OpenCart 3; создать и… CMS, Парсинг данных ∙ 1 день 19 часов назад ∙ 32 ставки |