Бот/скрипт для парсинга сайта
4000 UAH
Здравствуйте!
Есть публичный сайт https://sidjilcom.cnrc.dz/ с информацией о финансовой деятельности фирм в Алжире.
Нужен бот/скрипт(НЕ готовые данные, а именно программа для собственного использования!), который будет выполнять следующие действия, используя прокси:
1. Авторизоваться на сайте.
2. Ввести поисковый запрос и выполнить его.
3. Спарсить нужную информацию в локальную БД MySQL.
При это нужно максимально имитировать действия человека, да бы не получить бан от сайта.
Логин, пароль и прокси будет предоставлен выбранному кандидату.
Подробная инструкция со скриншотами и структурой БД в приложении на английском языке.
Приложения 1
Отзыв заказчика о сотрудничестве с Алексеем Кирдиным
Бот/скрипт для парсинга сайтаОтличный фрилансер! Ответственный и коммуникабельный! Выполнил задание в соответствии с ТЗ и даже больше. Обращусь еще не раз! Рекомендую к сотрудничеству!
-
Победившая ставка1 день4000 UAH
62 1 0 Победившая ставка1 день4000 UAH
Выполняю подобные задачи на node.js + puppeteer.
Единственно, если сайт защищен капчей, то будут сложности, в остальном - эмуляция действий пользователя не должна вызвать проблем.
-
3 дня1500 UAH
1060 45 0 3 дня1500 UAH
Здравствуйте, Александр
Имею большой опыт в сфере парсинга и анализа данных. Готов взяться за ваш проект уже сегодня.
Для вашей работы лучшим вариантом, на мой взгляд, будет использование связки NodeJS + Puppeteer. Puppeteer - это, если говорить простым языком, консольная версия Google Chrome, которая позволяет имитировать поведение пользователя программными средствами. Всё остальное, включая авторизацию (а это сохранение cookies) и сохранение данных запросто делается другими модулями NodeJS.
В качестве примера моей работы могу предоставить сайт http://workalytic.us.openode.io/ - парсер вакансий с крупнейших сайтов для поиска работы в Украине. Парсер поддерживает выгрузку результатов в форматах XML и JSON.
Также недавно закончил работу над парсером для прайс-листов в формате XLS для сайта товарной биржи
…
В любом случае, буду рад обсудить детали этого проекта и ответить на все интересующие вас вопросы в ЛС.
Также можете найти меня здесь:
Telegram - https://t.me/etozheartemka
Skype - killkick2013
VK - vk.com/kayart
-
5 дней2000 UAH
6296 144 6 4 5 дней2000 UAH
Могу реализовать на Python + Selenium. Будет работать через браузер, т.е. максимально приближенно к действиям пользователя. Единственный вопрос - если сайт банит из-за частоты запросов, а инфу надо получить быстро, то придется делать многопоточный скрипт с прокси серверами.
Актуальные фриланс-проекты в категории Парсинг данных
Сбор базы телеграмм каналов(англоязычных)Нужно собрать базу телеграм каналов со следующим критериями(2000-3000) каналов Критерии ТГ каналов: Язык: English География аудитории: США (US)/Великобритания/Канада и т.д. англоязычные каналы под тир 1-2 гео Аудитория: преимущественно мужчины 21+ Канал публичный… Поиск и сбор информации, Парсинг данных ∙ 6 часов 46 минут назад ∙ 3 ставки |
База сайтов на woocommerceНеобходимо собрать базу украинских сайтов интернет-магазинов на woocommerce с контактами, которые указаны на сайтах. Только работающие сайты (индикатор: обновление каталога/контента, рабочий домен) Формат таблицы - адрес сайта, номер телефона, e-mail. Парсинг данных ∙ 21 час 54 минуты назад ∙ 18 ставок |
Создать дашборд в https://airtable.com/ по результативности рекламных креативов из facebook adsПолноценное ТЗ https://docs.google.com/document/d/1_n_oYRNZWYxalUA---DM5AD1b5ZSrtePw5J4G42svGw/edit?usp=sharing Базы данных и SQL, Парсинг данных ∙ 2 дня 12 часов назад ∙ 17 ставок |
Создание файла Exel для загрузки товаров на сайты других партнеров.Меня интересует, чтобы сделать таблицу Excel со всеми параметрами. Вот сайт - https://heiztechnik.com.ua/ И позиции, которые интересуют, чтобы были перенесены : Ручные котлы : 1) TIS UNI 15-95 кВт (10) шт 2)TIS HARD 150-500 кВт (7) шт Пеллетные котлы: 1)TIS PELLET 15-95 кВт… Парсинг данных ∙ 2 дня 16 часов назад ∙ 34 ставки |
Требуется разработчик для парсинга каталога и автоматизации импорта данныхПодробное ТЗ в прикрепленном документе прошу в отклике указать ориентировочную стоимость и сроки реализации есть ли опыт работы с парсингом крупных каталогов какие возможные сложности или ограничения вы видите в данной задаче Базы данных и SQL, Парсинг данных ∙ 2 дня 19 часов назад ∙ 39 ставок |
Харьков