Скрапинг данных

Техническое задание по сбору данных в bet365

(Внимание, это трудный сайт для парсинга, в случае успеха, готовы работать постоянно с более простыми сайтами) 

0. 

работа будет производиться с букмекерской конторой Bet365 далее обозначающейся как БК 

домены: bet365.com, bet365.es 

Аккаунты если необходимо - обсуждаются отдельно 

Спорт который надо парсить - футбол (football/soccer) 

1. Цель: 

- Разработать скрипт для сбора обновлений коэффициентов на прематч-событиях с сайта БК. 

2. Получение коэффициентов: 

- получать список событий по заданному виду спорта 

- Получать обновления коэффициентов на прематч-событиях. 

- Извлекать необходимую информацию - например название матча, лига, ссылка, идентификатор события, коэффициенты - по сути получать все данные что отдает БК по событию 

- коэффициенты нужные в первую очередь: 1x2, totals, handicaps, team_totals1, team_totals2 

- Обеспечить эффективную обработку большого количества обновлений коэффициентов в режиме реального времени.  

- для прематча сбор должен осуществляться максимум 1 раз в 20 секунд 

- предусмотреть возможность смены вида спорта (футбол, баскетбол, тенис и пр.) 

3. Использование прокси: 

- Реализовать возможность использования прокси-серверов для подключения к БК. 

- Поддерживать работу с несколькими прокси и автоматическое переключение при отказе прокси ИЛИ в профилактических целях (чтоб меньше банили) 

4. Обработка ошибок и исключений: 

- Обрабатывать ошибки и исключения при работе с БК. 

- Логировать ошибки и исключения. 

5. Требования к документации: 

- Подготовить документацию по использованию скрипта, включая инструкции по настройке и запуску. 

- Подготовить информацию об ошибках  

6. Результат 

- Результатом выполнения задания будет скрипт, который получает данные и демонстрация того что эти данные актуальны (такие же как на сайте БК в данный момент времени) 

- Данные сохранять построчно в формате csv либо многострочный json 

- данные должны иметь понятную структуру - т.е. переформатировать из формата БК на понятный формат 

как пример: 

{

'match_id'

'match_url'

'home'

'away'

'liga_name'

'liga_id'

'1x2':{}

'totals':{}

'handicaps':{}

'team_totals1':{}

'team_totals2':{}

}