Разработать парсер (python)
Доброе время суток!
Ищем опытного python програмиста для разработки парсера.
Парсировать данные необходимо с крупных спортивных сайтов (maxbet.com, pinnacle.com, bet365.com).
Требования:
- Опыт в парсинге данных
- Умение парсировать динамические сайты
- Знание библиотек beautifulsoup, selenium
- Организованность, ответственность, профессионализм, добросовестность, соблюдение сроков
- Живое общение (skype, telegram)
Более подробно о проекте можете узнать при личной встрече (офис находится в г.Киеве).
-
1 day2 USD
190 1 0 1 1 day2 USD
Добрый день.
Давайте пообщаемся и всё обсудим.
Опыт, работы в личку
-
К сожалению beautifulsoup не умеет парсить динамические сайты (контент подгружается через javascript) так как не умеет выполнять эти сценарии.
-
Igor Vitsenko Webmaxstudio
Спасибо за комментарий! Нам это известно, с динамическими данными справиться selenium
-
Такое себе, медленный довольно, даже на C#, не говоря уже про Python
-
Igor Vitsenko Webmaxstudio
Какие решения на Ваш взгляд лучше?
-
Честно говоря на пайтон я не смог найти достойного решения для динамечиских сайтов. Вот BeautifulSoup4 + requests это просто крутое сочитание для статики. А с динамикой я не находил достойных модулей
-
А зачем ему скорость? Не думаю что там что-то будет появляться каждую долю секунды
-
Igor Vitsenko Webmaxstudio
Коэффициенты могут меняться каждую секунду
-
Ну а с интернетом тут вас как? Скорость позволит быстро загружать страницы?
-
Igor Vitsenko Webmaxstudio
Да, это не проблема
По сути страницу нужно загрузить 1 раз и постоянно по ней проходиться и передавать данные (для некоторых сайтов страниц может быть несколько)
Парсер должен работать без остановки 24\7 и передавать данные с минимальной задержкой -
ну да для вытягивания одной несчастной ссылки с одной странички скоросто особо не нужна. Задачи бывают разные. Я к примеру пытался поймать определенный товар на торговой площадке который было нереально поймать вручную и для таких задач он медленный довольно + браузер открыт это забирает как скорость на загрузку лишних картинок, так и оперативу. Или если сайтов к примеру 1000 и нужно пропарсить много страниц и вытащить много данных. Сколько такая прога работать будет? 2 дня? 5? Скорость важна всегда
-
Я 40к страниц парсил Сплинтером(это доработка селениум, или как это назвать)
Заняло день
-
Какой язык и драйвер?
-
Python
Вродебы использовал Гугл.
Как насчёт решения такого: попробовать создать типо сеть ботов? Тоесть даже не 2х ПК открыть этот софт. Шанс упустить важное меньше
-
Почему не PhantomJS, я вот так и не смог заставить его работать на других языках, но вот для Node.js довольно прикольная фича. позволяет выполнять js под капотом не вызывая визуальное отображение браузера
-
Igor Vitsenko Webmaxstudio
Парсер должен работать без остановки 24\7 и передавать данные с минимальной задержкой
-
Вот у Python я замечал такую неприятную штуку, что он теряет скорость при долгом выполнении цикла. У меня был скрипт на мобильную игру который проходился рандомно по ссылкам (поддерживал онлайн) и выполнял еще некоторые действия, сбор войск допустим, если надо, так спустя минут 5 он очень сильно терял скорость, при перезапуске скрипта всё было нормально, но опять же ненадолго
-
Отпишитесь мне в ЛС, если хотите обсудить это. Вроде помню что-то такое, нудно вспомнить как решил
-
Мои попытки гуглежки ни к чему не привели
-
зачем использовать еще какую то библиотеку, если использовать селениум?
-
Igor Vitsenko Webmaxstudio
В приоритете разработчики проживающие в Киеве
-
Если на python, смотрите в сторону scrapy + splash, второй выполняет js под капотом, работает с формами и селектами, работа через запросы...
-
Igor Vitsenko Webmaxstudio
Спасибо за совет!
-
Current freelance projects in the category Data Parsing
OpenCart — rental catalog of special equipment
135 USD
OpenCart — Equipment Rental Catalog Need to launch an equipment rental catalog on OpenCart. Theme: excavators cherry pickers forklifts generators cranes scaffolding other construction equipment. It is preferable that you already have a ready-made template or developments… Web Programming, Data Parsing ∙ 16 hours 5 minutes back ∙ 42 proposals |
Transfer the program - the server where the program was located has crashed (officially permitted parsing of government data)
47 USD
Hello! My client has encountered the case described below. We need help transferring to a new server and testing the program. It would be better to have a programmer who understands parsing. Software & Server Configuration, Data Parsing ∙ 19 hours 58 minutes back ∙ 25 proposals |
Parsing and classification of a large array of imagesIt is necessary to implement a project for collecting and structuring a large array of architectural images from open web sources.The task includes: automated collection of images; uploading files in the highest available quality; classification of images by categories:… Python, Data Parsing ∙ 20 hours 26 minutes back ∙ 30 proposals |
Parsing Resumes from Work.ua and Rabota.uaIt is necessary to download a database of current resumes from Work.ua and Rabota.ua in Excel format. It is preferable that the Excel file contains the following columns: Name Phone number (in the format +380...) Email Position (profession) Positions considered Category of… Information Gathering, Data Parsing ∙ 1 day 20 hours back ∙ 18 proposals |
Website parsingImplementation of 4 parsers (directory websites) is required. There is a technical specification, and there is a code example as a reference. The tasks include: Writing a parser Integrating a proxy Deduplication logic (transfer the logic from the example) Hashing logic based… Data Parsing ∙ 2 days 12 hours back ∙ 42 proposals |
Kyiv