Парсер OLX.UA
Написать Парсер номеров телефонов а также других данных ( Область,Город,Район,Категория,под категории,,Имя,Заголовок,Описание,Цена,Дата объявления,Номер объявления,URL объявления,В топе?) с сайт OLX.UA
Парсер должен уметь :
1) Парсить и сохранять в Excell данные с объявления сайт olx.ua ( Тлефоны, Область,Город,Район,Категория,подкатегории,,Имя,Заголовок,Описание,Цена,Дата обьявления,Номер объявления,URL объявления,В топе?)
2) Иметь возможность меню установки выбора заданий для парсинга : по городу, области, району, категории , под категории, частное или бизнес обьявление, в топе или нет, по цене от и до. Также должна быть возможность сбора по конкретно указанной ссылке в рамках сайта olx.ua
3) Данные должны сохраняться следующием формате : Отдельно файлы ( частное и бизнес), отдельно с отсеиванием дублей по телефон и без .
НАПРИМЕР собираем город Луцк Частные , на выходе должны получить в папке "Луцк далее папка - ЧАСТНЫЕ - далее папка 06.01.2020" (папки создаются автоматически) . В последней папке "06.01.2020" файлы всех основных категорий по отдельности ( детский мир, недвижимость ,транспорт и т.д БЕЗ дублей телефонов, и файлы с общим количеством по городу с дублями и файл без дублей.
ПРИМЕР НАЗВАНИЯ ФАЙЛОВ
название файла 24.12.18.06.09 - WD (21620) - Волынская обл - Луцк Ч ( дата, WD - без дублей номеров телефонов, количество , область ,город, Ч-частные)
название файла 24.12.18.06.09 - WD (521620) - Волынская обл - Луцк Б ( дата, отсутствие WD обозначает что файл с дублями номеров телефонов, количество , область ,город, Б-бизнес)
4) Во время парсинга должен быть виден тулбар с информацией сколько процентов задачи выполнено уже, сколько объявлений уже собрано , сколько осталось
5) Должна быть возможность сбора ВСЕХ или почти всех 95%-100% объявлений заданного города ( максимум можно за 1 запрос увидеть 500 страниц, поэтому в фоне работы программы при необходимости запросы автоматом должны разбиваться на более мелкие для достижения цели, например надо собрать Харьков Ленинский район там 100 тысяч объявлений (2000 страниц) , в фоне парсер разбивает его на более мелкие задачи или по цене или по категориям подкатегориям, не важно как, главное чтобы на выходе мы получили 100 тысяч объявлений).
6) Парсер должен иметь возмодность работать с несколькими потоками ( прокси) для увеличения скорости сбора, прокси вносятся в txt файл (по определенному шаблону) в парсере указывается путь к файлу.
7) Скорость парсинга на 1 поток не менее 10000 объявлений в час ( при работе core i7, 16гб ОЗУ), или 50000 объявлений час (10-15 потоков).
8) Перед выдачей парсера разработчику необходимо протестировать сбор не менее 100 тысяч объявлений ( 1 средний город) и сравнить количество выданных результатов ( количество) с тем что пишет сайт, оно должно совпадать .
9) Ниже прилагаю скрины парсера который у меня был ранее ( сейчас по неизвестным причинам не работает, с разаработчиком связь утеряна).
Applications 4
-
5 days158 USD
5 days158 USD
Здравствуйте!
Готов реализовать быстро и качественно.
Опыт в парсинге - более 4-х лет
Обращайтесь - буду рад сотрудничеству)
-
6 days134 USD
208 6 0 6 days134 USD
Большой опыт в парсинге, сделал такой же проект на olx.uz, смотрите портфолио
-
21 days557 USD
3397 34 0 21 days557 USD
Здравствуйте. Я занимаюсь программированием и разработкой онлайн парсеров любой сложности. Мой профиль входит в 🏆ТОП-3 исполнителя в данной категории.
Выполню проект быстро и качественно. У меня есть большой опыт парсинга OLX. Я хорошо понимаю какая там защита и как её обходить.
Реализую мощный многопоточный парсер OLX.ua. Вам понадобятся IPv4-прокси, но разумное количество.
Парсер будет легко и удобно настраиваться, как Вы и описали.
Возможно два варианта реализации приложения:
1) Приложение для работы на Вашем ПК.
2) Приложение для работы на сервере (с управлением через веб админ. панель).
…
Гарантирую поддержку проекта после сдачи.
✅ Предлагаю лично обсудить подробности, чтобы назвать цену и сроки.
-
20 days1113 USD
1639 20 0 3 20 days1113 USD
пишу профессиональные парсеры на питоне, опыт 10 лет, рад буду плодотворному сотрудничеству
-
В цьому році на OLX поставили захист на парсинг данних особливо на номера телефонів, реалізовував парсер через curl php підставляв данні в хедер запиту та сформований токен, так ось цього токена вистачає на 3 запити далі блокується IP адреса. Яким чином формуэться в них токен ныхто не знає.
-
У них там скорее задержка большая стоит, поэтому лучше иметь много IPv4 прокси адресов, и проганять в 1 поток по всем прокси запросы.
-
Насколько много их надо? Если надо иметь 500-1000 запросов в минуту например.
-
Есть решение?
-
Як варіан реалізувати браузерне рішеня парсера, наприклад як розширення хром. Запускати розширення хай ходить по сторінкам OLX і парсить дані, але скоріш за все також можуть також блокувати якщо в секунду з одного IP дьоргати багато сторінок.
-
Через Браузер будет медленно очень, думаю мы не добьемся такой скорости . И вы правы могут блокировать, так как парсер будет работать все время.
-
Скорость скорее будет зависеть от того, сколько прокси Вы готовы купить
-
300-500-1000 примерно так. Если надо больше можно больше
-
100 000 - 200 000 - примерно так надо, для нормальной работы. 300 будут в бане через пару минут все.
-
100к прокси это прям промышленные масштабы)
-
Даниил Яцура, цікаво що ти там хочеш робити 21 день за 25 к ?😐
-
Current freelance projects in the category Data Parsing
Parsing products, preparation for import to WPScrape the full catalog of these websites: https://svit-mebliv.ua/ https://kompanit.com.ua/ru https://amia.com.ua/ https://mebliromax.com.ua/ https://pehotin.com.ua/catalog/ https://www.sokme.ua/ru/ All products need to be combined into one general table for import into WP.… Web Programming, Data Parsing ∙ 2 days 3 hours back ∙ 54 proposals |
I am looking for a programmer for OpenCart.Good day 1) It is necessary to implement on the website dneprkomfort.dp.ua A module for Ukrainian banks has been purchased, and we have already integrated Mono Bank Here is an example from our competitor It is necessary to implement installment payments, purchase in parts… Web Programming, Data Parsing ∙ 3 days back ∙ 48 proposals |
A specialist in Telegram promotion is required.
28 USD
Tasks: invite real users from the username database to new chats and send messages to the target database. Only quality traffic and work with a live audience are of interest — performers using bots, fake engagement, or low-quality methods are requested NOT TO DISTURB. Work… Data Parsing, Social Media Marketing (SMM) ∙ 7 days 2 hours back ∙ 9 proposals |
Consultation on parsing Instagram account subscribersHello. It is necessary to conduct a preliminary assessment of the feasibility of the following task. I have a list of Instagram accounts. The goal is to obtain contact information (primarily email addresses) of users who follow these accounts. Previously, I encountered companies… Data Parsing ∙ 10 days 21 hours back ∙ 13 proposals |
A specialist is needed to find contacts of decision-makers in Ukraine.It is necessary to gather a database (or ready database) of contacts of decision-makers (DMs) in companies in Ukraine. Information Gathering, Data Parsing ∙ 11 days 2 hours back ∙ 22 proposals |
Zaporizhzhia