Сделать Парсер ОЛХ
1. Основные требования:
1.1. Собирать текстовые данные на сайте olx.ua, картинки не собирать.
1.2. Ряд собранных данных, проверять на соответствие правилам, прописанным в тхт файлах, заменять и записывать в csv
1.3. Номер телефона приводить в единый формат +380679996688
1.4. Парсер должен иметь возможность работать через прокси.
1.5. Парсер должен работать на windows XP,7,8,10/32,64
1.6. Парсер должен работать с cookie, если есть необходимость
1.7. По завершению работы, предоставить исходники
Дизайн проекта, ориентир на примеры работ.
-Презентация в PDF
-Основные страницы сайта:
Для b2c:
--Виртуальная карта, взаимодействие с АПИ для выпуска карты на емейл+инструкция.
(Возможности, Партнёры)
Для b2b:
--Схема сотрудничества, возможности, заявка на подключение+презентация.
--Страница по АЗС, схема работы, возможности, услуги, заявка на подключение, калькулятор.
---FAQ, ответы на все вопросы + инструкция в виде презентации о карте U.
-О нас, Партнёры.
Дополнительно:
Соц.сети, респост наших услу+переход на страницы компании.
Вёрстка всех страниц, загрузка на хостинг, тест.
Вёрстка емейл писем:
-инструкция на выпуск карты.
(Еженедельное напоминание о выпуске, если не выпустил+еженедельное письмо о партнерах и точках продаж, где можно воспользоваться нашей картой)
Вёрстка емейл письма, взаимодействие с формой b2b:
- Онлайн форма для подключения партнёра к нам в систему и размещение на все наши ресурсы. (Сайт, соц.сети)
Еженедельная работа по наполнению информации, контроль качества.
Вы готовы, стать частью нашей команды?
Готовы обсудить ваши ежемесячный оклад + бонусную часть от ваших трудозатрат.
( Работа, без пред оплат, только командная и долгосрочная работа)
Начнём с презентации, нарисована от руки, нужно Ее оживить.
https://drive.google.com/open?id=0B6HkFBAuyv1sdEQ4dmllZXNTUDQ
Это первая задача, и потом по этапно по сайту.
Презентации, примеры:
https://cardberry.com/public/files/StartGuide_1.2_ru.pdf
https://retail.cardsmobile.ru/docs/cardsmobile-smb.pdf
https://cardsmobile.ru/terms/terms.pdf
https://drive.google.com/file/d/0B0N2jCmM9XZTSDVoMTBjbHZVbWs/view
Исходники лого, карты нашей, все есть
Так же сделать инструкцию нашей карты для клиентов на примере, что в приложении.
О нас,
"U" - Виртуальный носитель для всех видов карт с дополненной программой лояльности.
Виртуальный носитель "U" на всех мобильных устройствах:
- Passbook
- Apple Wallet
- Pass Wallet
- Windows Wallet
- Wallet Pass.
1500 международных брендов для передачи информации по баллам.
Два нажатия на Touch ID и "U" появится на экране вашего смартфона.
Быстро. Удобно. Надежно.
-
7 days113 USD
7 days113 USD
Доброго времени суток, буду рад помочь решить вашу задачу. Использую для таких решений C++ Qt Creator, в интерфейсе предусмотрю добавление прокси, если в этом будет нужда.
С уважением Миша.
-
7 days90 USD
2162 85 0 7 days90 USD
Готов сделать.
-
5 days68 USD
72 1 0 5 days68 USD
Здравствуйте
Готов заняться
Писал парсеры сайтов для грабинга контента и автонаполнения интернет-магазинов
на PHP и Python
Могу проконсультировать по готовым решениям - + ZennoPosterPro + и Datacol
-
5 days113 USD
3718 193 12 7 5 days113 USD
Есть опыт работы с этой платформой. Знаю их защиты (например, при n+ запросов в n+ секунд). Более того, есть готовые продукты под их сервис. Готов поработать с Вами.
-
2 days90 USD
194 1 0 2 days90 USD
Здравствуйте. Пишу парсеры на Python.
Есть готовый мультипоточный парсер olx, т.е. нужно будет только допилить его под ваши нужды (напр. проверять данные на соответствие правилам). Также не описаны условия работы парсера. Мой вариант, например, парсит все объявления за последний час. (скорость примерно 35000-40000 объявлений за 20 минут).
Прокси не требуются, т.к. olx не банит.
Если заинтересовало - пишите.
Skype: Ultharas
E-mail: [email protected]
-
а как вы собираетесь парсить телефоны. они там подгружаются аяксом при клике. вам нужен бот, а не просто парсер
-
а разве парсер не моет сделать аякс запрос ? 😁
-
а разве парсер не может сделать аякс запрос ?
-
Смотришь что шлет браузер при событии нажатия и куда, определяешь логику работы и вперед.
Единственное геморно - слишком много данных для обработки, главный файл сайтмепа содержит в себе еще кучу хмл-сайтмепов https://www.olx.ua/sitemap.xml
А телефоны стянуть тебе поможет
PhantomJS
-
Это все конечно так. Вопрос в том что мы понимаем под парсингом. Где заканчивается парсинг как форматная обработка строк и начинается бот как взаимодействие с сайтом.
-
тут товарищ Сергей Евдокимов всё правильно описал , запросы идут одинаковые ,только айдишники разные )))
-
и кликать ничего не надо ... )
-
-
Парсер выполняет синтаксический анализ текста. Ну так проанализируй событие , что происходит при клике. Отправляется запрос в виде
"https://www.olx.ua/телефон/ID_vasia_pupkin
тянешь со страницы айди и подставляешь в запрос на каждой карточке
-
или
SlimerJS
-
Вообще не проблема. С# рулит
-
здесь нету автора проекта.
проект стянули с https://www.fl.ru/projects/3237936/sdelat-parser-olh.html
стянул и разместил посредник
можно всем расслабиться
-
:D
-
в процессе переписки по скайпу с посредником я 3 раза отказался участвовать в проекте. посредник не знал деталей ни сайта ни проекта.
а потом на меня вышел автор проекта и вместе посмеялись с посредника, который мои вопросы задавал автору а ответы писал мне.
-
Current freelance projects in the category Data Parsing
Parsing products from supermarketsNeed a specialist (parsing + Google Sheets + automation). Goal: Create a system for automatic retrieval and updating of food prices from Silpo and NOVUS supermarkets with data output to Google Sheets. What needs to be implemented: Create a main Google Sheets table with a product… Data Parsing, Information Gathering ∙ 6 minutes back ∙ 10 proposals |
LinkedIn mailing
120 USD
LinkedIn Mailing It is necessary to launch a LinkedIn mailing to the specified database. 30,000+ contacts We are waiting for proposals Email Marketing, Data Parsing ∙ 1 day 7 hours back ∙ 9 proposals |
Parsing company emails from a specific industry
113 USD
Find contacts (e-mail, phone number) of companies engaged in the specified business mentioned in this Google document https://docs.google.com/document/d/1_d-iLxLSL3gjRvo1GmUpWNm0Pm5YoKGcEvaiDc_2I0g/edit?usp=sharing The result should be in the form of a table with the following… Data Parsing ∙ 2 days 7 hours back ∙ 31 proposals |
Need a parser for the online store https://www.lcsc.com/It is necessary to regularly (once a month, or upon script launch) obtain up-to-date information about the products available in the store. https://www.lcsc.com/ from the catalog of all sections.… Data Parsing ∙ 3 days 13 hours back ∙ 43 proposals |
OpenCart — rental catalog of special equipment
135 USD
OpenCart — Equipment Rental Catalog Need to launch an equipment rental catalog on OpenCart. Theme: excavators cherry pickers forklifts generators cranes scaffolding other construction equipment. It is preferable that you already have a ready-made template or developments… Web Programming, Data Parsing ∙ 4 days 5 hours back ∙ 59 proposals |
Kyiv