Разработать парсер (python)
Доброе время суток!
Ищем опытного python програмиста для разработки парсера.
Парсировать данные необходимо с крупных спортивных сайтов (maxbet.com, pinnacle.com, bet365.com).
Требования:
- Опыт в парсинге данных
- Умение парсировать динамические сайты
- Знание библиотек beautifulsoup, selenium
- Организованность, ответственность, профессионализм, добросовестность, соблюдение сроков
- Живое общение (skype, telegram)
Более подробно о проекте можете узнать при личной встрече (офис находится в г.Киеве).
-
1 день100 UAH
190 1 0 1 1 день100 UAH
Добрый день.
Давайте пообщаемся и всё обсудим.
Опыт, работы в личку
-
К сожалению beautifulsoup не умеет парсить динамические сайты (контент подгружается через javascript) так как не умеет выполнять эти сценарии.
-
Игорь Виценко Webmaxstudio
Спасибо за комментарий! Нам это известно, с динамическими данными справиться selenium
-
Такое себе, медленный довольно, даже на C#, не говоря уже про Python
-
Игорь Виценко Webmaxstudio
Какие решения на Ваш взгляд лучше?
-
Честно говоря на пайтон я не смог найти достойного решения для динамечиских сайтов. Вот BeautifulSoup4 + requests это просто крутое сочитание для статики. А с динамикой я не находил достойных модулей
-
А зачем ему скорость? Не думаю что там что-то будет появляться каждую долю секунды
-
Игорь Виценко Webmaxstudio
Коэффициенты могут меняться каждую секунду
-
Ну а с интернетом тут вас как? Скорость позволит быстро загружать страницы?
-
Игорь Виценко Webmaxstudio
Да, это не проблема
По сути страницу нужно загрузить 1 раз и постоянно по ней проходиться и передавать данные (для некоторых сайтов страниц может быть несколько)
Парсер должен работать без остановки 24\7 и передавать данные с минимальной задержкой -
ну да для вытягивания одной несчастной ссылки с одной странички скоросто особо не нужна. Задачи бывают разные. Я к примеру пытался поймать определенный товар на торговой площадке который было нереально поймать вручную и для таких задач он медленный довольно + браузер открыт это забирает как скорость на загрузку лишних картинок, так и оперативу. Или если сайтов к примеру 1000 и нужно пропарсить много страниц и вытащить много данных. Сколько такая прога работать будет? 2 дня? 5? Скорость важна всегда
-
Я 40к страниц парсил Сплинтером(это доработка селениум, или как это назвать)
Заняло день
-
Какой язык и драйвер?
-
Python
Вродебы использовал Гугл.
Как насчёт решения такого: попробовать создать типо сеть ботов? Тоесть даже не 2х ПК открыть этот софт. Шанс упустить важное меньше
-
Почему не PhantomJS, я вот так и не смог заставить его работать на других языках, но вот для Node.js довольно прикольная фича. позволяет выполнять js под капотом не вызывая визуальное отображение браузера
-
Игорь Виценко Webmaxstudio
Парсер должен работать без остановки 24\7 и передавать данные с минимальной задержкой
-
Вот у Python я замечал такую неприятную штуку, что он теряет скорость при долгом выполнении цикла. У меня был скрипт на мобильную игру который проходился рандомно по ссылкам (поддерживал онлайн) и выполнял еще некоторые действия, сбор войск допустим, если надо, так спустя минут 5 он очень сильно терял скорость, при перезапуске скрипта всё было нормально, но опять же ненадолго
-
Отпишитесь мне в ЛС, если хотите обсудить это. Вроде помню что-то такое, нудно вспомнить как решил
-
Мои попытки гуглежки ни к чему не привели
-
зачем использовать еще какую то библиотеку, если использовать селениум?
-
Игорь Виценко Webmaxstudio
В приоритете разработчики проживающие в Киеве
-
Если на python, смотрите в сторону scrapy + splash, второй выполняет js под капотом, работает с формами и селектами, работа через запросы...
-
Игорь Виценко Webmaxstudio
Спасибо за совет!
-
Актуальні фриланс-проєкти в категорії Python
Створення Тік-ток ферми з генерацією доходу
27 000 UAH
в пошуках людини, яка може написати софт для ферми Тік Ток, щоб ми змогли генерувати трафік, отримувати дохід. Шукаємо готове рішення з повним циклом. Python, Розробка ботів ∙ 1 день 16 годин тому ∙ 15 ставок |
AI Коментуюча Платформа для TikTok та Instagram.Мета проекту Розробити систему, яка дозволяє керувати великою кількістю акаунтів TikTok та Instagram і автоматично публікувати релевантні коментарі під вибраними відео з використанням ШІ. Основний функціонал1. Управління акаунтами Необхідно реалізувати можливість підключення… AI та машинне навчання, Python ∙ 2 дні 23 години тому ∙ 22 ставки |
Побудувути модель калсифікації клієнтів1. Є дані клієнтів в Mongo/SQL (приблизно 20 000 заисів із сирими даними). 2. Необхідно на їх основі побудувати фічі та модель класифікації клієнтв на поведінкові групи. 3. Проект виконати на Python. AI та машинне навчання, Python ∙ 4 дні 17 годин тому ∙ 43 ставки |
ІТ Автоматизація ведення VAT- звітності
10 000 UAH
Необхідно розробити систему для автоматизації перенесення даних про продажі з CRM у бухгалтерську систему Wafeq. Система має імпортувати банківські та платіжні звіти, автоматично звіряти платежі з інвойсами, формувати інвойси для VAT-звітності та мінімізувати ручну роботу.… AI та машинне навчання, Python ∙ 4 дні 23 години тому ∙ 51 ставка |
Інструмент звірки рахунків з банком, картами та бухгалтеромТехнічне завдання: інструмент звірки рахунків з банком, картами та бухгалтеромЗагальна метаПотрібен локальний інструмент (скрипт/невеликий додаток на Python), який запускається вручну раз на 1-2 місяці на моєму комп'ютері і робить звірку між:Рахунками, які я виставив клієнтам і… Python, Десктопні додатки ∙ 5 днів 11 годин тому ∙ 43 ставки |
Київ