Разработать парсер (python)
Доброе время суток!
Ищем опытного python програмиста для разработки парсера.
Парсировать данные необходимо с крупных спортивных сайтов (maxbet.com, pinnacle.com, bet365.com).
Требования:
- Опыт в парсинге данных
- Умение парсировать динамические сайты
- Знание библиотек beautifulsoup, selenium
- Организованность, ответственность, профессионализм, добросовестность, соблюдение сроков
- Живое общение (skype, telegram)
Более подробно о проекте можете узнать при личной встрече (офис находится в г.Киеве).
-
1 dzień8 PLN
190 1 0 1 1 dzień8 PLN
Добрый день.
Давайте пообщаемся и всё обсудим.
Опыт, работы в личку
-
К сожалению beautifulsoup не умеет парсить динамические сайты (контент подгружается через javascript) так как не умеет выполнять эти сценарии.
-
Igor Vitsenko Webmaxstudio
Спасибо за комментарий! Нам это известно, с динамическими данными справиться selenium
-
Такое себе, медленный довольно, даже на C#, не говоря уже про Python
-
Igor Vitsenko Webmaxstudio
Какие решения на Ваш взгляд лучше?
-
Честно говоря на пайтон я не смог найти достойного решения для динамечиских сайтов. Вот BeautifulSoup4 + requests это просто крутое сочитание для статики. А с динамикой я не находил достойных модулей
-
А зачем ему скорость? Не думаю что там что-то будет появляться каждую долю секунды
-
Igor Vitsenko Webmaxstudio
Коэффициенты могут меняться каждую секунду
-
Ну а с интернетом тут вас как? Скорость позволит быстро загружать страницы?
-
Igor Vitsenko Webmaxstudio
Да, это не проблема
По сути страницу нужно загрузить 1 раз и постоянно по ней проходиться и передавать данные (для некоторых сайтов страниц может быть несколько)
Парсер должен работать без остановки 24\7 и передавать данные с минимальной задержкой -
ну да для вытягивания одной несчастной ссылки с одной странички скоросто особо не нужна. Задачи бывают разные. Я к примеру пытался поймать определенный товар на торговой площадке который было нереально поймать вручную и для таких задач он медленный довольно + браузер открыт это забирает как скорость на загрузку лишних картинок, так и оперативу. Или если сайтов к примеру 1000 и нужно пропарсить много страниц и вытащить много данных. Сколько такая прога работать будет? 2 дня? 5? Скорость важна всегда
-
Я 40к страниц парсил Сплинтером(это доработка селениум, или как это назвать)
Заняло день
-
Какой язык и драйвер?
-
Python
Вродебы использовал Гугл.
Как насчёт решения такого: попробовать создать типо сеть ботов? Тоесть даже не 2х ПК открыть этот софт. Шанс упустить важное меньше
-
Почему не PhantomJS, я вот так и не смог заставить его работать на других языках, но вот для Node.js довольно прикольная фича. позволяет выполнять js под капотом не вызывая визуальное отображение браузера
-
Igor Vitsenko Webmaxstudio
Парсер должен работать без остановки 24\7 и передавать данные с минимальной задержкой
-
Вот у Python я замечал такую неприятную штуку, что он теряет скорость при долгом выполнении цикла. У меня был скрипт на мобильную игру который проходился рандомно по ссылкам (поддерживал онлайн) и выполнял еще некоторые действия, сбор войск допустим, если надо, так спустя минут 5 он очень сильно терял скорость, при перезапуске скрипта всё было нормально, но опять же ненадолго
-
Отпишитесь мне в ЛС, если хотите обсудить это. Вроде помню что-то такое, нудно вспомнить как решил
-
Мои попытки гуглежки ни к чему не привели
-
зачем использовать еще какую то библиотеку, если использовать селениум?
-
Igor Vitsenko Webmaxstudio
В приоритете разработчики проживающие в Киеве
-
Если на python, смотрите в сторону scrapy + splash, второй выполняет js под капотом, работает с формами и селектами, работа через запросы...
-
Igor Vitsenko Webmaxstudio
Спасибо за совет!
-
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
OpenCart — katalog wynajmu sprzętu specjalistycznego
492 PLN
OpenCart — katalog wynajmu sprzętu specjalistycznegoPotrzebne jest uruchomienie katalogu wynajmu sprzętu specjalistycznego na OpenCart.Tematyka:koparkipodnośnikiładowarkigeneratorydźwigirusztowaniainny sprzęt budowlany.Preferowane, abyście mieli już gotowy szablon lub… Programowanie stron internetowych, Parsowanie danych ∙ 16 godzin 6 minut temu ∙ 42 oferty |
Przenieść program - serwer, na którym był program, padł (oficjalne dozwolone parsowanie danych publicznych)
169 PLN
Witaj! Mój klient ma przypadek opisany poniżej. Potrzebna pomoc w przeniesieniu na nowy serwer i przetestowaniu programu. Lepiej, aby to był programista, który zna się na parsowaniu. Konfigurowanie oprogramowania i serwerów, Parsowanie danych ∙ 19 godzin 58 minut temu ∙ 25 ofert |
Parsowanie i klasyfikacja dużej liczby obrazówNależy zrealizować projekt zbierania i strukturyzacji dużej ilości architektonicznych obrazów z otwartych źródeł internetowych.Zadanie obejmuje: automatyczne zbieranie obrazów; ładowanie plików w maksymalnie dostępnej jakości; klasyfikację obrazów według kategorii: Exterior;… Python, Parsowanie danych ∙ 20 godzin 26 minut temu ∙ 30 ofert |
Parsowanie CV z Work.ua i Rabota.uaNależy pobrać w formacie Excel bazę aktualnych CV z Work.ua i Работа.ua. Preferowane, aby plik Excel zawierał następujące kolumny:ImięNumer telefonu (w formacie +380...)Adres e-mailStanowisko (zawód)Stanowiska, które rozważaKategoria branży (rubryka)Branża, w której… Wyszukiwanie i zbieranie informacji, Parsowanie danych ∙ 1 dzień 20 godzin temu ∙ 18 ofert |
Parsowanie stronyWymagana jest implementacja 4 parserów (strony katalogowe) Jest specyfikacja, jest przykład kodu jako referencja. Do zadań należy: Napisanie parsera Podłączenie proxy Logika deduplikacji (przeniesienie logiki z przykładu) Logika haszowania według 3 pól Parser powinien… Parsowanie danych ∙ 2 dni 12 godzin temu ∙ 42 oferty |
Kijów