Разработать парсер (python)
Доброе время суток!
Ищем опытного python програмиста для разработки парсера.
Парсировать данные необходимо с крупных спортивных сайтов (maxbet.com, pinnacle.com, bet365.com).
Требования:
- Опыт в парсинге данных
- Умение парсировать динамические сайты
- Знание библиотек beautifulsoup, selenium
- Организованность, ответственность, профессионализм, добросовестность, соблюдение сроков
- Живое общение (skype, telegram)
Более подробно о проекте можете узнать при личной встрече (офис находится в г.Киеве).
-
1 day2 USD
190 1 0 1 1 day2 USD
Добрый день.
Давайте пообщаемся и всё обсудим.
Опыт, работы в личку
-
К сожалению beautifulsoup не умеет парсить динамические сайты (контент подгружается через javascript) так как не умеет выполнять эти сценарии.
-
Igor Vitsenko Webmaxstudio
Спасибо за комментарий! Нам это известно, с динамическими данными справиться selenium
-
Такое себе, медленный довольно, даже на C#, не говоря уже про Python
-
Igor Vitsenko Webmaxstudio
Какие решения на Ваш взгляд лучше?
-
Честно говоря на пайтон я не смог найти достойного решения для динамечиских сайтов. Вот BeautifulSoup4 + requests это просто крутое сочитание для статики. А с динамикой я не находил достойных модулей
-
А зачем ему скорость? Не думаю что там что-то будет появляться каждую долю секунды
-
Igor Vitsenko Webmaxstudio
Коэффициенты могут меняться каждую секунду
-
Ну а с интернетом тут вас как? Скорость позволит быстро загружать страницы?
-
Igor Vitsenko Webmaxstudio
Да, это не проблема
По сути страницу нужно загрузить 1 раз и постоянно по ней проходиться и передавать данные (для некоторых сайтов страниц может быть несколько)
Парсер должен работать без остановки 24\7 и передавать данные с минимальной задержкой -
ну да для вытягивания одной несчастной ссылки с одной странички скоросто особо не нужна. Задачи бывают разные. Я к примеру пытался поймать определенный товар на торговой площадке который было нереально поймать вручную и для таких задач он медленный довольно + браузер открыт это забирает как скорость на загрузку лишних картинок, так и оперативу. Или если сайтов к примеру 1000 и нужно пропарсить много страниц и вытащить много данных. Сколько такая прога работать будет? 2 дня? 5? Скорость важна всегда
-
Я 40к страниц парсил Сплинтером(это доработка селениум, или как это назвать)
Заняло день
-
Какой язык и драйвер?
-
Python
Вродебы использовал Гугл.
Как насчёт решения такого: попробовать создать типо сеть ботов? Тоесть даже не 2х ПК открыть этот софт. Шанс упустить важное меньше
-
Почему не PhantomJS, я вот так и не смог заставить его работать на других языках, но вот для Node.js довольно прикольная фича. позволяет выполнять js под капотом не вызывая визуальное отображение браузера
-
Igor Vitsenko Webmaxstudio
Парсер должен работать без остановки 24\7 и передавать данные с минимальной задержкой
-
Вот у Python я замечал такую неприятную штуку, что он теряет скорость при долгом выполнении цикла. У меня был скрипт на мобильную игру который проходился рандомно по ссылкам (поддерживал онлайн) и выполнял еще некоторые действия, сбор войск допустим, если надо, так спустя минут 5 он очень сильно терял скорость, при перезапуске скрипта всё было нормально, но опять же ненадолго
-
Отпишитесь мне в ЛС, если хотите обсудить это. Вроде помню что-то такое, нудно вспомнить как решил
-
Мои попытки гуглежки ни к чему не привели
-
зачем использовать еще какую то библиотеку, если использовать селениум?
-
Igor Vitsenko Webmaxstudio
В приоритете разработчики проживающие в Киеве
-
Если на python, смотрите в сторону scrapy + splash, второй выполняет js под капотом, работает с формами и селектами, работа через запросы...
-
Igor Vitsenko Webmaxstudio
Спасибо за совет!
-
Current freelance projects in the category Data Parsing
Parsing products, preparation for import to WPScrape the full catalog of these websites: https://svit-mebliv.ua/ https://kompanit.com.ua/ru https://amia.com.ua/ https://mebliromax.com.ua/ https://pehotin.com.ua/catalog/ https://www.sokme.ua/ru/ All products need to be combined into one general table for import into WP.… Web Programming, Data Parsing ∙ 1 day 19 hours back ∙ 54 proposals |
I am looking for a programmer for OpenCart.Good day 1) It is necessary to implement on the website dneprkomfort.dp.ua A module for Ukrainian banks has been purchased, and we have already integrated Mono Bank Here is an example from our competitor It is necessary to implement installment payments, purchase in parts… Web Programming, Data Parsing ∙ 2 days 17 hours back ∙ 48 proposals |
A specialist in Telegram promotion is required.
28 USD
Tasks: invite real users from the username database to new chats and send messages to the target database. Only quality traffic and work with a live audience are of interest — performers using bots, fake engagement, or low-quality methods are requested NOT TO DISTURB. Work… Data Parsing, Social Media Marketing (SMM) ∙ 6 days 19 hours back ∙ 9 proposals |
Consultation on parsing Instagram account subscribersHello. It is necessary to conduct a preliminary assessment of the feasibility of the following task. I have a list of Instagram accounts. The goal is to obtain contact information (primarily email addresses) of users who follow these accounts. Previously, I encountered companies… Data Parsing ∙ 10 days 14 hours back ∙ 13 proposals |
A specialist is needed to find contacts of decision-makers in Ukraine.It is necessary to gather a database (or ready database) of contacts of decision-makers (DMs) in companies in Ukraine. Information Gathering, Data Parsing ∙ 10 days 18 hours back ∙ 22 proposals |
Kyiv