Дипломная пайтон. Сбор телефонов в олх.3минуты консультации специалита

чё-ж вы к olx все пристали? Тут даже консультация дороже 200 грн.

Vlad Sem 1 мая 2019

что вы предлагаете?

за указанный бюджет могу пару анекдотов рассказать. как-раз около трех минут и займет.

А если серьезно - не стоит обманывать, что это дипломка :)

Vlad Sem 1 мая 2019

:), уважаемый это спокойно реализуется на php. а я сижу над пайтоном именно в учебных целях.

если вы можете только делать умный вид, а по сути ноль, проходите мимо пожалуйста.

ну ну. и в каком тогда это ВУЗе подобные задачи (вытащить телефоны с olx)? Не смешите народ.

Препод походу захтів підзаробити

точно. :) :) :)

Многопоточность почитайте ))

Vlad Sem 1 мая 2019

с многопоточностью проблем нет, проблема в получении токена.

Проблема в бюджете 200 грн. ноль добавьте в конце - будет вам и токен и номер телефона.

Vlad Sem 1 мая 2019

думаю проблема не в цене. если бы это в комерцию я бы сделал на php.

суть в том что это учебный проэкт, нужен именно пайтон и тот кто разбирается именно в пайтон

Ну так напишите на php  и попросите перенести исходник на питон. в чем проблема то?

Vlad Sem 1 мая 2019

вы меня заинтриговали, что значит перенести исходник с php на питон??? вы еще предложите дизасемблировать :). В php есть готовые библиотеки для парсинга, их средствами можно очень многое. В питоне я таких не нашел (те что нашел очень примитивные).  Вы предлагаете мне все библиотеки переписать? 

Какие библиотеки, которые помогут выдернуть телефон с OLX? Очень интересно.

Vlad Sem 1 мая 2019

уважаемый вы уверены что вам место в этом разделе? я начал подозревать что ваш уровень это школьные задачки

Больше ответить нечего? Бывает. Удачи Вам. Не вижу смысла дальше что-то писать. И так все ясно.

Vlad Sem 1 мая 2019

я не вижу смысла вам было начинать писать, если вы все равно не разбираетесь в данном вопросе.

Да смысл других исполнителей навести на мысль, что это совсем не дипломка. Удачи "защититься"

Vlad Sem 1 мая 2019

вам видно вообще нечем заняться :), какое это значение имеет для исполнителей? вы правда думаете если я уберу из задания слово дипломная это поможет? ведь тогда начнут предлагать рабочие решения не соответстующие условию. например решения на php. 

Некоторые могут "сжалиться" чтоль и выполнить работу в 10-15 раз дешевле её стоимости. Не более. Простите, у меня такое чувство, что именного этого Вы и хотите.

Vlad Sem 8 мая 2019

почему на пхп решение нашли бесплатно???

Ті що в пітоні нема примітивних методів роботи з текстом чи шо?

Я в пайтоні нічого не понімаю канешно, ну токен би спарсив з цими методами https://pythonworld.ru/tipy-dannyx-v-python/stroki-funkcii-i-metody-strok.html

У меня как раз на питоне код. 

Но мне как бы особой разницы нет -  учебный проект у вас или коммерческий.

Так что именно в цене и проблема)

Vlad Sem 1 мая 2019

вы код сами писали (сторонние библиотеки только питон)? как давно проверяли (была обнова)? что именно делает ваш код? сколько и за что конкретно вы хотите7

В обсуждении проекта запрещены ставки, так что если интересно - можем обсудить все детали в другом формате.

Не только ставки, но и:

В обсуждении проекта или конкурса не место:  

• сообщениям, содержащим предложения и контакты для обратной связи с заказчиком – для этой цели можно использовать только ставки в проекте;
• просьбам или требованиям ответить в личной переписке;  
• тестовым результатам работ – для этих целей существуют ставки в конкурсах;  

Vlad Sem 1 мая 2019

Вадим в отличии от вас не спамер, я надеюсь, а хочет решить проблему

А я и не предлагаю писать мне в лс или еще куда то.

Обсудить в другом формате - это например если заказчик поставит адекватный бюджет проекта. В таком формате можно и обсуждать) 

А за 200 грн. хоть здесь обсуждать хоть в лс смысла не вижу.

Извините, не верно Вас понял

Метод с токеном не работает

Там value 000000000

Vlad Sem 1 мая 2019

заголовки не правильные, кук и реферер должен быть заполнен.

если не возвращает значит токен неверный

Так что лучший вариант потоки 

И selenium

Vlad Sem 1 мая 2019

спасибо, я так уже сделал и все работает прекрасно, но задание использовать чистый пайтон а силениум как то смущает 

Ну без selenium сделай клики 

Есть ghost в который используется phantomjs 

ghost.evaluate("document.getElementsByClassName('button')[0].click()
Вот пример клика 

Надеюсь вознаграждение теперь мое 

Vlad Sem 1 мая 2019

я не против отдать вознаграждение, просто фантом жс вместо селениума. шило на мыло, вы не находите? 

Selemium более сложно устроен 

Там webdriver 

Вы попросили несложный вариант я подкинул

??

А завтра а завтра ты встретишься с ней

Не надо печалиться
Вся жизнь впереди
Вся жизнь впереди
Надейся и жди

(с)

Vlad Sem 1 мая 2019

меня осенила гениальная догадка, вы пьяны

гениально, согласен.

Гениальность зашкаливает

Selemium chrome нужен имитировать клик

Поэтому с ghost скорость парсинга выше 

Вы ответите?

Уважаемые коллеги. Но что-же тут непонятного? Человек пишет, что дипломка. Есть задача, которую, как он говорит может сам решить используя как минимум два подхода. В чем проблема сдать дипломку используя их? А только в том, что "нужно увеличить скорость парсинга". Впервые встречаюсь с таким требованием. Второе. Связанный профиль у заказчика (профиль исполнителя) специализируется на парсинге. Никому не приходит мысль, что человек просто взял проект, наткнулся на момент, который сам решить не может и за копейки пытается найти решение? У меня, как выразился заказчик, пьяного существа такая мысль возникает.

Vlad Sem 2 мая 2019

В чем проблема сдать дипломку используя их? капризики заказчика.

так и есть я взял написать скрипты, по заданию для авито, прома и розетки написал,  а с олх проблема с номером. проблема что общая сумма заказа не велика.  Заказчик говорит что хочет на защиту без селениума. 

Так в этом и суть. Сразу написать нет? А то прикрываетесь "дипломкой". Бюджет все-же конкретно занижен. Пересмотрите свою позицию в этом плане. То, что первоначальный заказчик платит мало - лучше отдать весь бюджет другому исполнителю (если сами не справляетесь). Лучше в карму минус не получить :)

Vlad Sem 8 мая 2019

Появилась минутка для "лирического" ответа :)

А разве это меняет суть задания?  Мой заказчик сказал что это дипломная и я ему верю. если бы его интересовал результат то у меня есть на пхп, но он сказал что нужен именно пайтон через гет запрос.

по поводу боджета: рабочее решение на пхп было найдено абсолютно бесплатно на спец форумах.

я вижу проблему в отсутствии  высоко квалифицированных пайтонистах. на сегодняшний день большинство задач можно решить на пхп, пайтон только входит (в ру кластере)

походу копейку не получу))

Есть почти готовый (работает, но следить за ним еще нужно) парсер. Все делает. Скорость около 13-15 тыс. объявлений в час (1 поток).

Сумма решения ниже суммы этого проекта, как минимум на два порядка.

П.С. Что-то много развелось дипломников специализирующихся на олх. ) Всем добра.

не «ниже», а выше. опечатка вышла...

я дал консультацию и обосновал решение 

и скинул пример как работает клик

я думаю этот совет стоит 200грн

это не шило на мыло променять

Могу помочь заюзать эту библиотеку 

без применения headless browser (selenium, phantomjs whatever) задачу решить не удастся, т.к. нужен js runtime и DOM Model

Vlad Sem 8 мая 2019

готов с вами докопаться на сути, есть модель решения на пхп через гет запрос

может мы недостаточно знаем пайтон???

на пхп токен из текста токен из заголовка другой, вся проблема в куке его часть формируется дополнительным запросом

Там много проблем)

проблема не в знании/незнании python ИМХО. выполнять запросы к API можно даже из консольки curl'ом без языка программирования. какая-то часть логики запроса на получение номера телефона выполняется на клиенте. используя headless browser (или jsdom) можно сымитировать клик на dom-элемент и не беспокоится о том, что разработчики нагородили в качестве защиты от crawling'а