Budget: 200 UAH Deadline: 1 day
Есть опыт в парсинге. Есть проект который парсил вот этот сайт "http://www.vstup.info/". Готов помочь.
Добрый день! Пишу дипломную по сбору и обработке данных в интернете. Столкнулся со сложностью получения номера телефона в объявлении олх средствами пайтон (могу через селениум, но нужно увеличить скорость).
Кто разбирается нужна ваша консультация (кусочек кода и возможно пояснение). Как я вижу это: нужен скрипт которые получает ссылку на объявление а возвращает номер телефона.
Внимание: если вы не знаете как это делать не нужно делать ставку. Авось получится --не получится.
В приложении скрипт который возвращает номер где все заголовки взяты вручную из диспетчера браузера.
Budget: 200 UAH Deadline: 1 day
Есть опыт в парсинге. Есть проект который парсил вот этот сайт "http://www.vstup.info/". Готов помочь.
Budget: 800 UAH Deadline: 1 day
Сделать можно через библиотеку requests
Скайп pancho_sanches
телеграм @alexpancho
Budget: 200 UAH Deadline: 1 day
Привет могу помочь, если что пиши в лс, там обсудим, спасибо
за указанный бюджет могу пару анекдотов рассказать. как-раз около трех минут и займет.
А если серьезно - не стоит обманывать, что это дипломка :)
:), уважаемый это спокойно реализуется на php. а я сижу над пайтоном именно в учебных целях.
если вы можете только делать умный вид, а по сути ноль, проходите мимо пожалуйста.
ну ну. и в каком тогда это ВУЗе подобные задачи (вытащить телефоны с olx)? Не смешите народ.
Проблема в бюджете 200 грн. ноль добавьте в конце - будет вам и токен и номер телефона.
думаю проблема не в цене. если бы это в комерцию я бы сделал на php.
суть в том что это учебный проэкт, нужен именно пайтон и тот кто разбирается именно в пайтон
Ну так напишите на php и попросите перенести исходник на питон. в чем проблема то?
вы меня заинтриговали, что значит перенести исходник с php на питон??? вы еще предложите дизасемблировать :). В php есть готовые библиотеки для парсинга, их средствами можно очень многое. В питоне я таких не нашел (те что нашел очень примитивные). Вы предлагаете мне все библиотеки переписать?
Какие библиотеки, которые помогут выдернуть телефон с OLX? Очень интересно.
уважаемый вы уверены что вам место в этом разделе? я начал подозревать что ваш уровень это школьные задачки
Больше ответить нечего? Бывает. Удачи Вам. Не вижу смысла дальше что-то писать. И так все ясно.
я не вижу смысла вам было начинать писать, если вы все равно не разбираетесь в данном вопросе.
Да смысл других исполнителей навести на мысль, что это совсем не дипломка. Удачи "защититься"
вам видно вообще нечем заняться :), какое это значение имеет для исполнителей? вы правда думаете если я уберу из задания слово дипломная это поможет? ведь тогда начнут предлагать рабочие решения не соответстующие условию. например решения на php.
Некоторые могут "сжалиться" чтоль и выполнить работу в 10-15 раз дешевле её стоимости. Не более. Простите, у меня такое чувство, что именного этого Вы и хотите.
Я в пайтоні нічого не понімаю канешно, ну токен би спарсив з цими методами https://pythonworld.ru/tipy-dannyx-v-python/stroki-funkcii-i-metody-strok.html
У меня как раз на питоне код.
Но мне как бы особой разницы нет - учебный проект у вас или коммерческий.
Так что именно в цене и проблема)
вы код сами писали (сторонние библиотеки только питон)? как давно проверяли (была обнова)? что именно делает ваш код? сколько и за что конкретно вы хотите7
В обсуждении проекта запрещены ставки, так что если интересно - можем обсудить все детали в другом формате.
Не только ставки, но и:
В обсуждении проекта или конкурса не место:
- сообщениям, содержащим предложения и контакты для обратной связи с заказчиком – для этой цели можно использовать только ставки в проекте;
- просьбам или требованиям ответить в личной переписке;
- тестовым результатам работ – для этих целей существуют ставки в конкурсах;
А я и не предлагаю писать мне в лс или еще куда то.
Обсудить в другом формате - это например если заказчик поставит адекватный бюджет проекта. В таком формате можно и обсуждать)
А за 200 грн. хоть здесь обсуждать хоть в лс смысла не вижу.
заголовки не правильные, кук и реферер должен быть заполнен.
если не возвращает значит токен неверный
спасибо, я так уже сделал и все работает прекрасно, но задание использовать чистый пайтон а силениум как то смущает
Есть ghost в который используется phantomjs
ghost.evaluate("document.getElementsByClassName('button')[0].click()Вот пример клика
я не против отдать вознаграждение, просто фантом жс вместо селениума. шило на мыло, вы не находите?
Selemium более сложно устроен
Там webdriver
Вы попросили несложный вариант я подкинул
А завтра а завтра ты встретишься с ней
Не надо печалиться
Вся жизнь впереди
Вся жизнь впереди
Надейся и жди(с)
Уважаемые коллеги. Но что-же тут непонятного? Человек пишет, что дипломка. Есть задача, которую, как он говорит может сам решить используя как минимум два подхода. В чем проблема сдать дипломку используя их? А только в том, что "нужно увеличить скорость парсинга". Впервые встречаюсь с таким требованием. Второе. Связанный профиль у заказчика (профиль исполнителя) специализируется на парсинге. Никому не приходит мысль, что человек просто взял проект, наткнулся на момент, который сам решить не может и за копейки пытается найти решение? У меня, как выразился заказчик, пьяного существа такая мысль возникает.
В чем проблема сдать дипломку используя их? капризики заказчика.
так и есть я взял написать скрипты, по заданию для авито, прома и розетки написал, а с олх проблема с номером. проблема что общая сумма заказа не велика. Заказчик говорит что хочет на защиту без селениума.
Так в этом и суть. Сразу написать нет? А то прикрываетесь "дипломкой". Бюджет все-же конкретно занижен. Пересмотрите свою позицию в этом плане. То, что первоначальный заказчик платит мало - лучше отдать весь бюджет другому исполнителю (если сами не справляетесь). Лучше в карму минус не получить :)
Появилась минутка для "лирического" ответа :)
А разве это меняет суть задания? Мой заказчик сказал что это дипломная и я ему верю. если бы его интересовал результат то у меня есть на пхп, но он сказал что нужен именно пайтон через гет запрос.
по поводу боджета: рабочее решение на пхп было найдено абсолютно бесплатно на спец форумах.
я вижу проблему в отсутствии высоко квалифицированных пайтонистах. на сегодняшний день большинство задач можно решить на пхп, пайтон только входит (в ру кластере)
Есть почти готовый (работает, но следить за ним еще нужно) парсер. Все делает. Скорость около 13-15 тыс. объявлений в час (1 поток).
Сумма решения ниже суммы этого проекта, как минимум на два порядка.
П.С. Что-то много развелось дипломников специализирующихся на олх. ) Всем добра.
я дал консультацию и обосновал решение
и скинул пример как работает клик
я думаю этот совет стоит 200грн
это не шило на мыло променять
без применения headless browser (selenium, phantomjs whatever) задачу решить не удастся, т.к. нужен js runtime и DOM Model
готов с вами докопаться на сути, есть модель решения на пхп через гет запрос
может мы недостаточно знаем пайтон???
на пхп токен из текста токен из заголовка другой, вся проблема в куке его часть формируется дополнительным запросом
проблема не в знании/незнании python ИМХО. выполнять запросы к API можно даже из консольки curl'ом без языка программирования. какая-то часть логики запроса на получение номера телефона выполняется на клиенте. используя headless browser (или jsdom) можно сымитировать клик на dom-элемент и не беспокоится о том, что разработчики нагородили в качестве защиты от crawling'а
We are looking for an experienced Full Stack developer or a small team to create an online tire store for the Norwegian company EasyTire. Important: the site will be fully developed in Norwegian (all texts will be provided, but they must be editable through the admin panel). What needs to be implemented Search for a car by license plate number. Automatic determination of the original tire and rim size. Ability to manually search by size if non-original wheels are installed. Display of suitable tires, rims, and wheel sets with current prices, stock, and delivery times. "Buy Now" and "Add to Cart" buttons. Calculation of the total order cost. Offer of installation and balancing services when purchasing tires. Online payment. Automatic creation of a paid order in Notion. Sending a notification about a new order in Telegram. A simple admin panel for managing prices, texts, photos, and SEO. Modern responsive design in the EasyTire corporate style. It is also necessary to develop a separate SEO page for services (installation, balancing, puncture repair, and seasonal wheel change) so that it can be promoted on Google for relevant search queries. Integration with the supplier We have a dealer account with NDI. We have already discovered the internal API requests of the site, through which the following can be obtained: car data by registration number; prices; availability; warehouse; delivery times. At the first stage, it is necessary to explore the existing internal APIs and determine the most reliable method of integration. If the use of internal APIs turns out to be impossible or unstable, an alternative solution should be proposed (for example, server automation or another technically justified option). In your response, please indicate experience in similar projects; proposed technology stack; how you envision the integration with NDI; estimated timelines; estimated cost; cost of further support. A complete technical specification will be provided to the selected contractor after preliminary project discussion.
Hello! It is necessary for the products that are uploaded to Rozetka via the CRM link to be uploaded as a file through ShopEditor, so that the IDs are preserved, correct errors in the descriptions, and adjust to the final categories and parameters of Rozetka. The volume of work is approximately around 20,000 products. The feeds from suppliers are uploaded in ShopEditor, and unnecessary products will be disabled. The price depends on the volume of work.
Write a parser for the site tripadvisor.com that will collect information about all objects from the specified section. Restaurants and hotels are not needed, only sections with attractions (Things to Do). For example, all attractions in Ukraine https://www.tripadvisor.com/Attractions-g294473-Activities-oa0-Ukraine.html. The information to be collected: object name, rating, number of reviews, link to the object page. Save the result in Excel. It is also required that the parser works with the Russian version of the site tripadvisor.ru
A parser needs to be created to collect competitor prices, with a catalog of over 40,000 products. Access to the prices is only available under authorization.
It is necessary to set up the parser remotely (via Anydesk or TeamViewer), something is broken and not working correctly. Mainly replacing the starting links and configuring the parser. Website https://dveri-pol.com/