Разработать парсер (python)
Доброе время суток!
Ищем опытного python програмиста для разработки парсера.
Парсировать данные необходимо с крупных спортивных сайтов (maxbet.com, pinnacle.com, bet365.com).
Требования:
- Опыт в парсинге данных
- Умение парсировать динамические сайты
- Знание библиотек beautifulsoup, selenium
- Организованность, ответственность, профессионализм, добросовестность, соблюдение сроков
- Живое общение (skype, telegram)
Более подробно о проекте можете узнать при личной встрече (офис находится в г.Киеве).
-
1 день100 UAH
190 1 0 1 1 день100 UAH
Добрый день.
Давайте пообщаемся и всё обсудим.
Опыт, работы в личку
-
К сожалению beautifulsoup не умеет парсить динамические сайты (контент подгружается через javascript) так как не умеет выполнять эти сценарии.
-
Игорь Виценко Webmaxstudio
Спасибо за комментарий! Нам это известно, с динамическими данными справиться selenium
-
Такое себе, медленный довольно, даже на C#, не говоря уже про Python
-
Игорь Виценко Webmaxstudio
Какие решения на Ваш взгляд лучше?
-
Честно говоря на пайтон я не смог найти достойного решения для динамечиских сайтов. Вот BeautifulSoup4 + requests это просто крутое сочитание для статики. А с динамикой я не находил достойных модулей
-
А зачем ему скорость? Не думаю что там что-то будет появляться каждую долю секунды
-
Игорь Виценко Webmaxstudio
Коэффициенты могут меняться каждую секунду
-
Ну а с интернетом тут вас как? Скорость позволит быстро загружать страницы?
-
Игорь Виценко Webmaxstudio
Да, это не проблема
По сути страницу нужно загрузить 1 раз и постоянно по ней проходиться и передавать данные (для некоторых сайтов страниц может быть несколько)
Парсер должен работать без остановки 24\7 и передавать данные с минимальной задержкой -
ну да для вытягивания одной несчастной ссылки с одной странички скоросто особо не нужна. Задачи бывают разные. Я к примеру пытался поймать определенный товар на торговой площадке который было нереально поймать вручную и для таких задач он медленный довольно + браузер открыт это забирает как скорость на загрузку лишних картинок, так и оперативу. Или если сайтов к примеру 1000 и нужно пропарсить много страниц и вытащить много данных. Сколько такая прога работать будет? 2 дня? 5? Скорость важна всегда
-
Я 40к страниц парсил Сплинтером(это доработка селениум, или как это назвать)
Заняло день
-
Какой язык и драйвер?
-
Python
Вродебы использовал Гугл.
Как насчёт решения такого: попробовать создать типо сеть ботов? Тоесть даже не 2х ПК открыть этот софт. Шанс упустить важное меньше
-
Почему не PhantomJS, я вот так и не смог заставить его работать на других языках, но вот для Node.js довольно прикольная фича. позволяет выполнять js под капотом не вызывая визуальное отображение браузера
-
Игорь Виценко Webmaxstudio
Парсер должен работать без остановки 24\7 и передавать данные с минимальной задержкой
-
Вот у Python я замечал такую неприятную штуку, что он теряет скорость при долгом выполнении цикла. У меня был скрипт на мобильную игру который проходился рандомно по ссылкам (поддерживал онлайн) и выполнял еще некоторые действия, сбор войск допустим, если надо, так спустя минут 5 он очень сильно терял скорость, при перезапуске скрипта всё было нормально, но опять же ненадолго
-
Отпишитесь мне в ЛС, если хотите обсудить это. Вроде помню что-то такое, нудно вспомнить как решил
-
Мои попытки гуглежки ни к чему не привели
-
зачем использовать еще какую то библиотеку, если использовать селениум?
-
Игорь Виценко Webmaxstudio
В приоритете разработчики проживающие в Киеве
-
Если на python, смотрите в сторону scrapy + splash, второй выполняет js под капотом, работает с формами и селектами, работа через запросы...
-
Игорь Виценко Webmaxstudio
Спасибо за совет!
-
Актуальні фриланс-проєкти в категорії Python
Потрібно створити бот в тг для оплати підписки.
2000 UAH
Потрібно створити бот в телеграмі де користувач зможе оформити підписку на доступ до веб камер котрі знгаходяться у дворі. Організувати в боті оплату двух видів підписок (на місяць і на один день). Бот повинен автоматично перевірити оплату і після видавати посилання-доступу Python, Розробка ботів ∙ 12 годин 10 хвилин тому ∙ 62 ставки |
Парсинг та класифікація великого масиву зображеньПотрібно реалізувати проєкт зі збору та структурування великого масиву архітектурних зображень із відкритих вебджерел.Задача включає: автоматизований збір зображень; завантаження файлів у максимально доступній якості; класифікацію зображень за категоріями: Exterior; Interior;… Python, Парсинг даних ∙ 19 годин 10 хвилин тому ∙ 30 ставок |
Бізнес-логіка платформи: підтвердження занять, контроль відвідуваності та історія уроків (DjangoДоопрацювання бізнес-логіки освітньої платформи: підтвердження занять, контроль відвідуваності та історія уроків (Django + React) Необхідно реалізувати повноцінну систему підтвердження уроків, контролю відвідуваності та зберігання історії підтверджень. Важливо Перед початком… Python ∙ 3 дні тому ∙ 29 ставок |
Доопрацювання адміністративної панелі освітньої платформи (Django + React)Доопрацювання адміністративної панелі освітньої платформи (Django + React) Опис проекту: Є діюча освітня платформа (маркетплейс, аналог Preply), розроблена на Django + React. Необхідно доопрацювати існуючу адміністративну панель і реалізувати відсутній функціонал управління… Python, Веб-програмування ∙ 4 дні 21 година тому ∙ 58 ставок |
Скрипт сбору даних (виконання JS)Добрий день, є список ссилок на оголошення 0lx, потрібно написати скрипт якій буде збиратителефон. Він з'являється при натисканні на кнопку "показати телефон". Бажано виконати на python, але інші варіанти теж ок. Скілько приблизно по вартості та часу? Python, Парсинг даних ∙ 5 днів 12 годин тому ∙ 47 ставок |
Київ