Парсинг коефіціентів

Потрібно парсити коефіціенти кількох букмекерських контор (в основному кф БК Pinnacle із сайту oddsportal.com з заміщенням, у разі відсутності коефіціентів на деякі азіатські фори, з додаткової лінії самого БК Pinnacle (Pinnacle.com.)

  Чемпіонати для парсингу - Англія (АПЛ і чемпіоншип); Німеччина (Бундесліга і 2 бундесліга); Іспанія (Ла Ліга і Ла ліга 2);  Італія (Серія А і Серія Б); Франція (Ліга 1 і Ліга 2); Нідерланди (Ередивізі і Еерстедивізі); Португалія (Ліга Португалії і Ліга Португалії 2).  

  А)  Англія (АПЛ); Німеччина (бундесліга); Іспанія (вища); Італія (вища); Франція (вища); Нідерланди (вища) - збірник із 6 чемпіонатів, як на скріні.

   Б) Португал (вища); Італія (Б); Німеччина (2); Нідерланди (2); Франція (2); Португалія (2) - ще один збірник із 6 команд.

    В) Поки нема але на перспективу, треба щоб було -  Англія (чемпіоншип); Іспанія (2); Бельгія/ якщо б можна було поєднати з граючими в другій половині сезону чемпіонатами Бразилії А і Б, і Японїю (вища). Відсутність матчів на певну дату деяких чемпіонатів , при грі у цей час інших чемпіонатів із моїх збірників, має фіксуватися пробілом (пусто). 

    Такі таблички , як на скріні вверху, мають фіксуватися на одному рівні, зліва - направо, збірка А 6 чемпіонатів, двадцять клітинок відступу - збірка Б, ще через двадцять, збірка В. Якщо в якійсь збірці грає навіть один перенесений матч якогось числа, усі інші збірки також фіксуються на цьому діапазоні клітинок справа, але фіксуються з пробілом в кф, датах , турах і результатах (щоб було зручно відбирати формулами в подальшому).

   При заході на матч і огляді кф по лінії потрібної букмекерської контори - лінія відкриття зазначена в самому низу відкриваючого віконця (вспливаючого віконця, пуш-віконця, не знаю як це вірно назвати, відкривається без кліку), вона не змінюється, в основному, краще їїх фіксувати як остаточну разом з фіксацією пізньої лінії, тобто лінія відкриття і пізня лінія фіксується одночасно (в основному за 2-3 дні до матчу, інколи за день до початку матчів. Потім фіксується лінія за 50 хв до початку матчу, і через 2 години після завершення матчу фіксується лінія закриття.

Програма повинна заходити на сайт перед днями ігрових зустрічей, в основному в середині тижня, якщо гра певного чемпіонату не проводиться 2 рази на тиждень (якщо 2 рази, умовно гра відбуватиметься вівторок-середа і п'ятниця-субота-неділя, то кф пізньої лінії мають фіксуватися у понеділок і четвер, програма має відслідковувати за змінами у розкладі майбутніх найближчих зустрічей чемпіонату, щоб розуміти коли необхідно фіксувати кф певного періоду лінії. Ліній для фіксації має бути 4.  Заходити на кожну зустріч даного чемпіонату і фіксувати кф різних періодів.

1) Кф відкриття (умовно, так як парсер одспорталу не надто швидкий, і по суті фіксує вже ранню лінію, а не кф відкриття, але нехай.  При наведенні (не кліку) на кф на одспорталі він вказує кф відкриття.

2) Кф пізньої лінії , умовно парсер має брати кф який відображається на даний момент (умовно в середу, якщо за тиждень грається 1 тур, якщо два тури - перший кф фіксується у понеділок, на інший тур у четвер або п'ятницю, в залежності коли закінчується перший тур і має  розпочатися наступний. 

  Кф не повинні змінюватися, тобто після фіксації мають бути сталі числа (тобто чого не можна зробити формулами в Еселі)

3) Кф за 40-50 хв до матчу. Умовно значаться як кф за годину (за час). Кф змінилися після оголошення тренером основного складу команди.  (якщо з різних причин не вдасться фіксувати кф цього періоду допускається фіксація середнього значення між кф пізньої лінії і кф закриття).

4) Кф закриття. Фіксуються як і результат матчу після 1-2 годин по завершенню кожного матчу. Такий термін необхідний для усунення неточностей на сайті з результатом зустрічі.

   В крайньому разі, при відсутності кф на одспорталі на певний вид ставки і важкістю доступу до сайту Піннакл допускається заміщення кф на ці події кф БК Бет 365, які є у переліку даної події.

    Усі англійські назви команд і дати повинні бути замінені українськими, зразком для заміни назв є сайт livescore.in/ua/ або flashscore.ua. Проте є одне але. Назви команд на цих сайтах при копіюванні дублюються, потрібно нівелювати дублікат, щоб не парсити з помилками. Також при копіюванні фіксується кількість червоних карток, юільше 1, що потрібно також нівелювати індивідуально. Розклад майбутніх матчів, зміни і доповнення перенесених зустрічей теж фіксувати з цих сайтів, щоб вчасно визначати дату фіксації кф періоду.

  Пари команд які зустрічаються повинні сполучатися через пробіл і дефіс. Умовно Арсенал - Лестер. Команди заміщуються без скорочень, так як є на українських сайтах. 

  У разі повної відсутності кф Піннакл і Бет 365 на певний вид ставки, фіксується пуста клітинка. У разі перенесення матчу - фіксується замість результату пуста клітинка, і за нею в наступній клітинці справа фіксується подія як "перенесений" ("зупинений").

  Програма парсингу (умовно Пайтон)  має видавати результати парсингу в таблицю Ексель, адаптовану для прочитання і безпомилкового перенесення в версію 2010 (а краще напряму в цю версію). Так як перенесення деяких формул і знаків з цієї версії у Ексель 365 і гугл-таблиці свого часу видавало багато помилкових результатів. Не хочеться викидати гроші на вітер.

 1Х - це азіатський гандикап Ф1(+0,5) лише ліва цифра ;  (права фіксує Ф2(-0,5), тобто щось схоже на П2, умовно перемогу другої команди) - ігнор

2Х - це азіатський гандикап Ф1(-0,5) лише права цифра;  (ліва фіксує Ф1(-0,5), тобто щосьсхоже на П1, умовно перемогу першої команди) - ігнор

Ф1(-1) - лише ліва цифра ;     праву ж цифру слід парсити до значення Ф2(+1) - фіксуємо;

до Ф2(-1) треба парсити зі значення на сайті Ф1(+1) - лише праву цифру.

  Коротше кажучи, щоб не наробити помилок потрібна людина яка розуміється не лише в основах парсингу, але яка має і деякий досвід і розуміння термінів беттінгу.

   Також відразу для полегшення, чи зняття ручної праці є бажання також фіксувати повністю список з результатами зустрічей  туру  і пар наступного туру. Необхідно для внесення в основну таблицю відбору команд, для отримання прогнозу (це вже робиться руками).  Приклад :

Червоним кольором відзначається сам перенесений матч і кількість таких матчів на даний час. Синім кольором відзначається матч (чі) зіграний наперед (передчасно). Фіолетовим кольором відзначається матч чи кількість матчів (додатково) скасованих під час зустрічі, через події на полі, з дограванням пізніше. 

   Програма має звіряти результати зустрічі по кільком сайтам і в разі відмінностей або мати у коді посилання на якусь незаповнену клітинку навпроти , щоб ввести правильний результат руками, або вигадати альтернативне рішення.

 Букви і оранжевий колір клітинки внизу туру просто фіксують що дані зустрічі переглянуті, помилки відсутні, і дані внесені в основні таблиці (це я роблю руками).

  При перенесенні матчу потрібно самому фіксувати біля часу зустрічі що матч "перенесений".

  Але все по черзі. Головне парсинг коефіціентів, решта пізніше, з огляду на те, якої якості буде зроблена перша робота.

  Парсинг з таких сайтів як БК Пінакл є досить проблематичним, так як служба безпеки компанії регулярно працює над безпекою від безкоштовного парсингу. Можливо є сенс замість кф Пінаклу напряму парсити з його клону, з безкоштовною АПІ, сайту PS3838,  для мене цей сайт важкуватий для розуміння.