Парсер OLX.UA
Написать Парсер номеров телефонов а также других данных ( Область,Город,Район,Категория,под категории,,Имя,Заголовок,Описание,Цена,Дата объявления,Номер объявления,URL объявления,В топе?) с сайт OLX.UA
Парсер должен уметь :
1) Парсить и сохранять в Excell данные с объявления сайт olx.ua ( Тлефоны, Область,Город,Район,Категория,подкатегории,,Имя,Заголовок,Описание,Цена,Дата обьявления,Номер объявления,URL объявления,В топе?)
2) Иметь возможность меню установки выбора заданий для парсинга : по городу, области, району, категории , под категории, частное или бизнес обьявление, в топе или нет, по цене от и до. Также должна быть возможность сбора по конкретно указанной ссылке в рамках сайта olx.ua
3) Данные должны сохраняться следующием формате : Отдельно файлы ( частное и бизнес), отдельно с отсеиванием дублей по телефон и без .
НАПРИМЕР собираем город Луцк Частные , на выходе должны получить в папке "Луцк далее папка - ЧАСТНЫЕ - далее папка 06.01.2020" (папки создаются автоматически) . В последней папке "06.01.2020" файлы всех основных категорий по отдельности ( детский мир, недвижимость ,транспорт и т.д БЕЗ дублей телефонов, и файлы с общим количеством по городу с дублями и файл без дублей.
ПРИМЕР НАЗВАНИЯ ФАЙЛОВ
название файла 24.12.18.06.09 - WD (21620) - Волынская обл - Луцк Ч ( дата, WD - без дублей номеров телефонов, количество , область ,город, Ч-частные)
название файла 24.12.18.06.09 - WD (521620) - Волынская обл - Луцк Б ( дата, отсутствие WD обозначает что файл с дублями номеров телефонов, количество , область ,город, Б-бизнес)
4) Во время парсинга должен быть виден тулбар с информацией сколько процентов задачи выполнено уже, сколько объявлений уже собрано , сколько осталось
5) Должна быть возможность сбора ВСЕХ или почти всех 95%-100% объявлений заданного города ( максимум можно за 1 запрос увидеть 500 страниц, поэтому в фоне работы программы при необходимости запросы автоматом должны разбиваться на более мелкие для достижения цели, например надо собрать Харьков Ленинский район там 100 тысяч объявлений (2000 страниц) , в фоне парсер разбивает его на более мелкие задачи или по цене или по категориям подкатегориям, не важно как, главное чтобы на выходе мы получили 100 тысяч объявлений).
6) Парсер должен иметь возмодность работать с несколькими потоками ( прокси) для увеличения скорости сбора, прокси вносятся в txt файл (по определенному шаблону) в парсере указывается путь к файлу.
7) Скорость парсинга на 1 поток не менее 10000 объявлений в час ( при работе core i7, 16гб ОЗУ), или 50000 объявлений час (10-15 потоков).
8) Перед выдачей парсера разработчику необходимо протестировать сбор не менее 100 тысяч объявлений ( 1 средний город) и сравнить количество выданных результатов ( количество) с тем что пишет сайт, оно должно совпадать .
9) Ниже прилагаю скрины парсера который у меня был ранее ( сейчас по неизвестным причинам не работает, с разаработчиком связь утеряна).
Applications 4
-
5 days160 USD
5 days160 USD
Здравствуйте!
Готов реализовать быстро и качественно.
Опыт в парсинге - более 4-х лет
Обращайтесь - буду рад сотрудничеству)
-
6 days135 USD
208 6 0 6 days135 USD
Большой опыт в парсинге, сделал такой же проект на olx.uz, смотрите портфолио
-
21 days564 USD
3421 34 0 21 days564 USD
Здравствуйте. Я занимаюсь программированием и разработкой онлайн парсеров любой сложности. Мой профиль входит в 🏆ТОП-3 исполнителя в данной категории.
Выполню проект быстро и качественно. У меня есть большой опыт парсинга OLX. Я хорошо понимаю какая там защита и как её обходить.
Реализую мощный многопоточный парсер OLX.ua. Вам понадобятся IPv4-прокси, но разумное количество.
Парсер будет легко и удобно настраиваться, как Вы и описали.
Возможно два варианта реализации приложения:
1) Приложение для работы на Вашем ПК.
2) Приложение для работы на сервере (с управлением через веб админ. панель).
…
Гарантирую поддержку проекта после сдачи.
✅ Предлагаю лично обсудить подробности, чтобы назвать цену и сроки.
-
20 days1128 USD
1699 20 0 2 20 days1128 USD
пишу профессиональные парсеры на питоне, опыт 10 лет, рад буду плодотворному сотрудничеству
-
В цьому році на OLX поставили захист на парсинг данних особливо на номера телефонів, реалізовував парсер через curl php підставляв данні в хедер запиту та сформований токен, так ось цього токена вистачає на 3 запити далі блокується IP адреса. Яким чином формуэться в них токен ныхто не знає.
-
У них там скорее задержка большая стоит, поэтому лучше иметь много IPv4 прокси адресов, и проганять в 1 поток по всем прокси запросы.
-
Насколько много их надо? Если надо иметь 500-1000 запросов в минуту например.
-
Есть решение?
-
Як варіан реалізувати браузерне рішеня парсера, наприклад як розширення хром. Запускати розширення хай ходить по сторінкам OLX і парсить дані, але скоріш за все також можуть також блокувати якщо в секунду з одного IP дьоргати багато сторінок.
-
Через Браузер будет медленно очень, думаю мы не добьемся такой скорости . И вы правы могут блокировать, так как парсер будет работать все время.
-
Скорость скорее будет зависеть от того, сколько прокси Вы готовы купить
-
300-500-1000 примерно так. Если надо больше можно больше
-
100 000 - 200 000 - примерно так надо, для нормальной работы. 300 будут в бане через пару минут все.
-
100к прокси это прям промышленные масштабы)
-
Даниил Яцура, цікаво що ти там хочеш робити 21 день за 25 к ?😐
-
Current freelance projects in the category Data Parsing
Need a parser for the online store https://www.lcsc.com/It is necessary to regularly (once a month, or upon script launch) obtain up-to-date information about the products available in the store. https://www.lcsc.com/ from the catalog of all sections.… Data Parsing ∙ 23 hours 34 minutes back ∙ 40 proposals |
OpenCart — rental catalog of special equipment
135 USD
OpenCart — Equipment Rental Catalog Need to launch an equipment rental catalog on OpenCart. Theme: excavators cherry pickers forklifts generators cranes scaffolding other construction equipment. It is preferable that you already have a ready-made template or developments… Web Programming, Data Parsing ∙ 1 day 16 hours back ∙ 55 proposals |
Transfer the program - the server where the program was located has crashed (officially permitted parsing of government data)
46 USD
Hello! My client has encountered the case described below. We need help transferring to a new server and testing the program. It would be better to have a programmer who understands parsing. Software & Server Configuration, Data Parsing ∙ 1 day 19 hours back ∙ 29 proposals |
Website parsingImplementation of 4 parsers (directory websites) is required. There is a technical specification, and there is a code example as a reference. The tasks include: Writing a parser Integrating a proxy Deduplication logic (transfer the logic from the example) Hashing logic based… Data Parsing ∙ 3 days 12 hours back ∙ 44 proposals |
Collection (parsing) of product database from supplier websites (Excel / CSV)
226 USD
Collection of product database from supplier websites (Excel / CSV) Good day. A specialist is required to collect and structure data from several supplier websites, access to which will be provided.Task: A unified product database needs to be created in Excel (XLSX) or CSV… Web Programming, Data Parsing ∙ 4 days 19 hours back ∙ 108 proposals |
Zaporizhzhia