Разработать парсер (python)

К сожалению beautifulsoup не умеет парсить динамические сайты (контент подгружается через javascript) так как не умеет выполнять эти сценарии.

Игорь Виценко 6 липня 2018

Спасибо за комментарий! Нам это известно, с динамическими данными справиться selenium

Такое себе, медленный довольно, даже на C#, не говоря уже про Python

Игорь Виценко 6 липня 2018

Какие решения на Ваш взгляд лучше?

Честно говоря на пайтон я не смог найти достойного решения для динамечиских сайтов. Вот BeautifulSoup4 + requests это просто крутое сочитание для статики. А с динамикой я не находил достойных модулей

А зачем ему скорость? Не думаю что там что-то будет появляться каждую долю секунды

Игорь Виценко 6 липня 2018

Коэффициенты могут меняться каждую секунду

Ну а с интернетом тут вас как? Скорость позволит быстро загружать страницы?

Игорь Виценко 6 липня 2018

Да, это не проблема
По сути страницу нужно загрузить 1 раз и постоянно по ней проходиться и передавать данные (для некоторых сайтов страниц может быть несколько)
Парсер должен работать без остановки 24\7 и передавать данные с минимальной задержкой

ну да для вытягивания одной несчастной ссылки с одной странички скоросто особо не нужна. Задачи бывают разные. Я к примеру пытался поймать определенный товар на торговой площадке который было нереально поймать вручную и для таких задач он медленный довольно + браузер открыт это забирает как скорость на загрузку лишних картинок, так и оперативу. Или если сайтов к примеру 1000 и нужно пропарсить много страниц и вытащить много данных. Сколько такая прога работать будет? 2 дня? 5? Скорость важна всегда

Я 40к страниц парсил Сплинтером(это доработка селениум, или как это назвать)

Заняло день

Какой язык и драйвер?

Python

Вродебы использовал Гугл.

Как насчёт решения такого: попробовать создать типо сеть ботов?  Тоесть даже не 2х ПК открыть этот софт. Шанс упустить важное меньше

Почему не PhantomJS, я вот так и не смог заставить его работать на других языках, но вот для Node.js довольно прикольная фича. позволяет выполнять js под капотом не вызывая визуальное отображение браузера

Игорь Виценко 6 липня 2018

Парсер должен работать без остановки 24\7 и передавать данные с минимальной задержкой

Вот у Python я замечал такую неприятную штуку, что он теряет скорость при долгом выполнении цикла. У меня был скрипт на мобильную игру который проходился рандомно по ссылкам (поддерживал онлайн) и выполнял еще некоторые действия, сбор войск допустим, если надо, так спустя минут 5 он очень сильно терял скорость, при перезапуске скрипта всё было нормально, но опять же ненадолго 

Отпишитесь мне в ЛС, если хотите обсудить это. Вроде помню что-то такое, нудно вспомнить как решил

Мои попытки гуглежки ни к чему не привели

зачем использовать еще какую то библиотеку, если использовать селениум?

Вам нужны только те, кто проживает на Украине?

Игорь Виценко 6 липня 2018

В приоритете разработчики проживающие в Киеве 

Если на python, смотрите в сторону scrapy + splash, второй выполняет js под капотом, работает с формами и селектами, работа через запросы...

Игорь Виценко 6 липня 2018

Спасибо за совет!