Сделать Парсер ОЛХ
1. Основные требования:
1.1. Собирать текстовые данные на сайте olx.ua, картинки не собирать.
1.2. Ряд собранных данных, проверять на соответствие правилам, прописанным в тхт файлах, заменять и записывать в csv
1.3. Номер телефона приводить в единый формат +380679996688
1.4. Парсер должен иметь возможность работать через прокси.
1.5. Парсер должен работать на windows XP,7,8,10/32,64
1.6. Парсер должен работать с cookie, если есть необходимость
1.7. По завершению работы, предоставить исходники
Дизайн проекта, ориентир на примеры работ.
-Презентация в PDF
-Основные страницы сайта:
Для b2c:
--Виртуальная карта, взаимодействие с АПИ для выпуска карты на емейл+инструкция.
(Возможности, Партнёры)
Для b2b:
--Схема сотрудничества, возможности, заявка на подключение+презентация.
--Страница по АЗС, схема работы, возможности, услуги, заявка на подключение, калькулятор.
---FAQ, ответы на все вопросы + инструкция в виде презентации о карте U.
-О нас, Партнёры.
Дополнительно:
Соц.сети, респост наших услу+переход на страницы компании.
Вёрстка всех страниц, загрузка на хостинг, тест.
Вёрстка емейл писем:
-инструкция на выпуск карты.
(Еженедельное напоминание о выпуске, если не выпустил+еженедельное письмо о партнерах и точках продаж, где можно воспользоваться нашей картой)
Вёрстка емейл письма, взаимодействие с формой b2b:
- Онлайн форма для подключения партнёра к нам в систему и размещение на все наши ресурсы. (Сайт, соц.сети)
Еженедельная работа по наполнению информации, контроль качества.
Вы готовы, стать частью нашей команды?
Готовы обсудить ваши ежемесячный оклад + бонусную часть от ваших трудозатрат.
( Работа, без пред оплат, только командная и долгосрочная работа)
Начнём с презентации, нарисована от руки, нужно Ее оживить.
https://drive.google.com/open?id=0B6HkFBAuyv1sdEQ4dmllZXNTUDQ
Это первая задача, и потом по этапно по сайту.
Презентации, примеры:
https://cardberry.com/public/files/StartGuide_1.2_ru.pdf
https://retail.cardsmobile.ru/docs/cardsmobile-smb.pdf
https://cardsmobile.ru/terms/terms.pdf
https://drive.google.com/file/d/0B0N2jCmM9XZTSDVoMTBjbHZVbWs/view
Исходники лого, карты нашей, все есть
Так же сделать инструкцию нашей карты для клиентов на примере, что в приложении.
О нас,
"U" - Виртуальный носитель для всех видов карт с дополненной программой лояльности.
Виртуальный носитель "U" на всех мобильных устройствах:
- Passbook
- Apple Wallet
- Pass Wallet
- Windows Wallet
- Wallet Pass.
1500 международных брендов для передачи информации по баллам.
Два нажатия на Touch ID и "U" появится на экране вашего смартфона.
Быстро. Удобно. Надежно.
-
7 dni411 PLN
7 dni411 PLN
Доброго времени суток, буду рад помочь решить вашу задачу. Использую для таких решений C++ Qt Creator, в интерфейсе предусмотрю добавление прокси, если в этом будет нужда.
С уважением Миша.
-
7 dni329 PLN
2162 85 0 7 dni329 PLN
Готов сделать.
-
5 dni247 PLN
72 1 0 5 dni247 PLN
Здравствуйте
Готов заняться
Писал парсеры сайтов для грабинга контента и автонаполнения интернет-магазинов
на PHP и Python
Могу проконсультировать по готовым решениям - + ZennoPosterPro + и Datacol
-
5 dni411 PLN
3718 193 12 7 5 dni411 PLN
Есть опыт работы с этой платформой. Знаю их защиты (например, при n+ запросов в n+ секунд). Более того, есть готовые продукты под их сервис. Готов поработать с Вами.
-
2 dni329 PLN
194 1 0 2 dni329 PLN
Здравствуйте. Пишу парсеры на Python.
Есть готовый мультипоточный парсер olx, т.е. нужно будет только допилить его под ваши нужды (напр. проверять данные на соответствие правилам). Также не описаны условия работы парсера. Мой вариант, например, парсит все объявления за последний час. (скорость примерно 35000-40000 объявлений за 20 минут).
Прокси не требуются, т.к. olx не банит.
Если заинтересовало - пишите.
Skype: Ultharas
E-mail: [email protected]
-
а как вы собираетесь парсить телефоны. они там подгружаются аяксом при клике. вам нужен бот, а не просто парсер
-
а разве парсер не моет сделать аякс запрос ? 😁
-
а разве парсер не может сделать аякс запрос ?
-
Смотришь что шлет браузер при событии нажатия и куда, определяешь логику работы и вперед.
Единственное геморно - слишком много данных для обработки, главный файл сайтмепа содержит в себе еще кучу хмл-сайтмепов https://www.olx.ua/sitemap.xml
А телефоны стянуть тебе поможет
PhantomJS
-
Это все конечно так. Вопрос в том что мы понимаем под парсингом. Где заканчивается парсинг как форматная обработка строк и начинается бот как взаимодействие с сайтом.
-
тут товарищ Сергей Евдокимов всё правильно описал , запросы идут одинаковые ,только айдишники разные )))
-
и кликать ничего не надо ... )
-
-
Парсер выполняет синтаксический анализ текста. Ну так проанализируй событие , что происходит при клике. Отправляется запрос в виде
"https://www.olx.ua/телефон/ID_vasia_pupkin
тянешь со страницы айди и подставляешь в запрос на каждой карточке
-
или
SlimerJS
-
Вообще не проблема. С# рулит
-
здесь нету автора проекта.
проект стянули с https://www.fl.ru/projects/3237936/sdelat-parser-olh.html
стянул и разместил посредник
можно всем расслабиться
-
:D
-
в процессе переписки по скайпу с посредником я 3 раза отказался участвовать в проекте. посредник не знал деталей ни сайта ни проекта.
а потом на меня вышел автор проекта и вместе посмеялись с посредника, который мои вопросы задавал автору а ответы писал мне.
-
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Parsowanie emaili firm z określonej branży
411 PLN
Znajdź kontakty (e-mail, numer telefonu) firm, które zajmują się określonym biznesem, wskazanym w tym dokumencie Google https://docs.google.com/document/d/1_d-iLxLSL3gjRvo1GmUpWNm0Pm5YoKGcEvaiDc_2I0g/edit?usp=#sharing Wynik ma być w formie tabeli z kolumnami: 1. Telefon w… Parsowanie danych ∙ 8 godzin 45 minut temu ∙ 22 oferty |
Potrzebny parser sklepu internetowego https://www.lcsc.com/należy regularnie (1 raz w miesiącu, lub przy uruchomieniu skryptu) uzyskiwać aktualne informacje o produktach dostępnych w sklepie https://www.lcsc.com/ z katalogu wszystkich działów… Parsowanie danych ∙ 1 dzień 14 godzin temu ∙ 42 oferty |
OpenCart — katalog wynajmu sprzętu specjalistycznego
493 PLN
OpenCart — katalog wynajmu sprzętu specjalistycznegoPotrzebne jest uruchomienie katalogu wynajmu sprzętu specjalistycznego na OpenCart.Tematyka:koparkipodnośnikiładowarkigeneratorydźwigirusztowaniainny sprzęt budowlany.Preferowane, abyście mieli już gotowy szablon lub… Programowanie stron internetowych, Parsowanie danych ∙ 2 dni 6 godzin temu ∙ 58 ofert |
Przenieść program - serwer, na którym był program, padł (oficjalne dozwolone parsowanie danych publicznych)
169 PLN
Witaj! Mój klient ma przypadek opisany poniżej. Potrzebna pomoc w przeniesieniu na nowy serwer i przetestowaniu programu. Lepiej, aby to był programista, który zna się na parsowaniu. Konfigurowanie oprogramowania i serwerów, Parsowanie danych ∙ 2 dni 10 godzin temu ∙ 29 ofert |
Parsowanie stronyWymagana jest implementacja 4 parserów (strony katalogowe) Jest specyfikacja, jest przykład kodu jako referencja. Do zadań należy: Napisanie parsera Podłączenie proxy Logika deduplikacji (przeniesienie logiki z przykładu) Logika haszowania według 3 pól Parser powinien… Parsowanie danych ∙ 4 dni 2 godziny temu ∙ 44 oferty |
Kijów