Парсинг сайта
Профессиональный подход, всегда на связи, понятная коммуникация. На проекте возникли непредвиденные сложности (специфика сайта) - Влад предложил несколько способо решения и помог выбрать оптимальный из них.
Продолжаем сотрудничество.
Привет,
необходим парсинг данных с сайта https://liquipedia.net/
А именно: нужно выгрузить данные обо всех киберспортивных командах и турнирах, которые есть на сайте по 30 играм.
Детальное ТЗ какие данные нужны ,как их сохранять, откуда парсить и тд:
https://docs.google.com/spreadsheets/d/1-_PgrvKqPcFq3BqNADTPatv_b4tTwIQCULnb3PhsvBk/
https://docs.google.com/spreadsheets/d/1UWhuW4T2CmUzhOwPsQ_TvZSvsZDYD1ktKQOqbKVizeQ
Прошу указать вашу стоимость за проект и сроки реализации проекта.
Выгрузка данных и проверка качества данных поэтапно по каждой игре.
Вы хотите получать 60 файлов и проверять каждый по очереди? Или все вместе? Сколько времени уходит на проверку одного файла?
Как показал предыдущий опыт работы парсинга с фрилансерами - лучше сдавать проект поэтапно и проверять каждую часть.
Если найдем ошибки в логике парсера - сможем исправить и в следующих этапах ошибок будет меньше.
Проверка состоит из выборочной сверки результатов в таблице с данными на сайте (например, что данные случайно не записались в другую колонку или спаршены данные именно из нужной строки).
Какой из проектов в приоритете? Турниры или команды? Какая игра в приоритете? Если заранее известно про каптчу или потребность в проксях - скажите.
Про защиту от парсинга не известно. Предыдущий опыт парсинга этого сайта не выявил какой либо защиты.
В ТЗ проекта указано что нужно парсить и по каким играм. Если что-то не ясно - уточните, постараюсь объяснить.
32 ставки 11:02
70 ставок 2 августа
Веб-программирование 29 ставок 30 июля
Python 47 ставок 30 июля
Разработка ботов 37 ставок 30 июля