Парсер тенісних матчів для Melbet (melbet.com) — збір даних для
Розробив синхронний парсер тенісних матчів із букмекерського сайту Melbet (melbet.com) для подальшого використання даних у моделі машинного навчання.
Парсер у режимі, наближеному до реального часу, проходив сторінки з тенісними подіями через Selenium WebDriver, послідовно обходив необхідні вузли DOM та забирав структуровані дані: турнір, гравці, час початку, ринки, коефіцієнти тощо. Швидкість парсингу регулювалася (налаштовані паузи між запитами та переходами між сторінками), щоб забезпечити стабільну роботу без перевантаження сайту.
Отримані дані очищувалися, перевірялися на коректність і зберігалися у MS SQL Server у вигляді нормалізованих таблиць (матчі, турніри, ринки, коефіцієнти). Після цього реалізовано експорт у CSV/табличні файли в форматі, зручному для подальшого аналізу та навчання ML-моделей прогнозування результатів/коефіцієнтів.
Я повністю спроєктував і реалізував рішення: схему бази даних, логіку синхронного обходу сторінок із керуванням швидкістю, обробку помилок у Selenium, мапінг у SQL-таблиці та модуль експорту даних у CSV.
Використані технології: C#, .NET, Selenium WebDriver, MS SQL Server, ADO.NET / ORM, CSV-експорт, підготовка датасету для ML.
Парсер у режимі, наближеному до реального часу, проходив сторінки з тенісними подіями через Selenium WebDriver, послідовно обходив необхідні вузли DOM та забирав структуровані дані: турнір, гравці, час початку, ринки, коефіцієнти тощо. Швидкість парсингу регулювалася (налаштовані паузи між запитами та переходами між сторінками), щоб забезпечити стабільну роботу без перевантаження сайту.
Отримані дані очищувалися, перевірялися на коректність і зберігалися у MS SQL Server у вигляді нормалізованих таблиць (матчі, турніри, ринки, коефіцієнти). Після цього реалізовано експорт у CSV/табличні файли в форматі, зручному для подальшого аналізу та навчання ML-моделей прогнозування результатів/коефіцієнтів.
Я повністю спроєктував і реалізував рішення: схему бази даних, логіку синхронного обходу сторінок із керуванням швидкістю, обробку помилок у Selenium, мапінг у SQL-таблиці та модуль експорту даних у CSV.
Використані технології: C#, .NET, Selenium WebDriver, MS SQL Server, ADO.NET / ORM, CSV-експорт, підготовка датасету для ML.