Скрипт для веб-скрапинга спортивных данных с Sofascore
Требуется написать код на Python для веб-скрапинга. Библиотека или функция, которую я могу использовать для достижения следующих целей:
- Получить данные о предстоящих теннисных матчах: коэффициенты, имена игроков, рейтинги и стандартные данные матча, которые они указывают на сайте
- Получить исторические данные о теннисных матчах: статистика, по очкам, мощность тенниса, коэффициенты, имена игроков и рейтинги, стандартные данные матча, которые они указывают на сайте
- Данные о отдельных теннисных игроках.
- Рейтинги ATP и WTA (теннисные рейтинги)
Все эти данные, вероятно, аккуратно находятся в json-файлах через сетевую активность сайта. Мне нужен человек, который создаст функции/библиотеку на Python, которая будет получать эти данные и возвращать, например, DataFrame с этими json-данными, сохранёнными в колонках в виде строки или json.
У меня уже есть код, который делает подобное для футбольных матчей. Но этот код получает только около 500-1500 исторических матчей и затем выдаёт ошибку 403. Это решение для скрапинга теннисных данных должно работать быстро и быть надёжным, собирая 300000 матчей за часы/дни. А предстоящие/запланированные матчи — за секунды/минуты. Мое текущее решение для футбола использует curl_cffi, разные настройки заголовков (язык и настройки браузера), самое дешёвое ротационное резидентное прокси, которое я нашёл, и паузы в несколько секунд между запросами. Мои текущие меры по скрытности реализованы мной, поэтому есть куда улучшать.
Пожалуйста, спрашивайте, если вам нужна дополнительная информация о проекте.
Отзыв заказчика о сотрудничестве с Елисеем Х.
Скрипт для веб-скрапинга спортивных данных с SofascoreОтличный конечный результат. Хорошая работа.
Отзыв фрилансера о сотрудничестве с Joachim Virta
Скрипт для веб-скрапинга спортивных данных с SofascoreЯ искренне благодарен Йоахиму за этот проект. Четкие технические требования, быстрая и дружелюбная коммуникация, а также глубокое участие в процессе — совместная работа была действительно приятной. Заказчик всегда давал своевременную обратную связь, предоставлял весь необходимый доступ и быстро принимал решения, что позволило мне полностью сосредоточиться на технической стороне и добиться лучшего результата. Я буду рад снова работать с Йоахимом в будущем и однозначно рекомендую его как надежного и понимающего клиента.
Спасибо за возможность работать над интересной и значимой задачей!
-
5 дней23 186 UAH5 дней23 186 UAH
Здравствуйте, Joachim,
Я внимательно проанализировал ваш проект по сбору данных о теннисе с Sofascore. Это сложная задача, и у меня есть опыт для создания надежного и высокоскоростного решения, которое вам нужно.
Ошибка 403, с которой вы сталкиваетесь в вашем текущем скрипте, ясно показывает, что Sofascore успешно "отпечатвает" и блокирует ваши запросы. Простого подхода curl_cffi с базовыми заголовками и прокси часто недостаточно для такой сложной цели.
Чтобы решить эту проблему, я создам профессиональную библиотеку для парсинга на Python, использующую гораздо более мощную архитектуру:
Основной движок (Playwright): я буду использовать Playwright, а не только библиотеку requests. Это позволит автоматизировать реальный браузер, делая поведение нашего скрипта практически неотличимым от поведения человека.
…
Продвинутые методы против отпечатков: я реализую техники скрытности, чтобы избежать обнаружения. Это включает создание пользовательских "контекстов" браузера с рандомизированными пользовательскими агентами, разрешениями экрана и другими свойствами браузера, которые ищут системы антибот.
Интеллектуальное управление запросами: скрипт будет имитировать поведение человека при просмотре, а не просто быстро отправлять запросы. Он также будет умно управлять ротацией прокси, чтобы минимизировать риск блокировки IP.
Как сертифицированный разработчик Python по стандарту PCAP™, я специализируюсь на создании таких надежных систем извлечения данных. Итоговая версия будет чистой библиотекой Python с функциями вроде get_upcoming_matches(), get_historical_data(match_id) и т.д., возвращающими данные в DataFrame, как вы просили.
Общая оценка:
Сроки: 5 дней
Цена: 450 долларов США
Ваш бюджет в €110, к сожалению, недостаточен для разработки системы, которая сможет обойти современные решения антибота в требуемых масштабах. Моя цена отражает создание профессионального инструмента, который будет быстрым, надежным и способным удовлетворить ваши потребности в данных.
Я готов создать парсер, который действительно работает.
-
2 дня5668 UAH
71 2 дня5668 UAHПривет, Йоахим.
Я должен сказать, что недавно работал над веб-скрепером для колледжского проекта, а также создал приложение Streamlit для просмотра и анализа собранных данных с помощью динамических графиков.
Python — один из моих сильных навыков, так как я создавал много проектов с данными, используя его.
Для вашего проекта я могу собрать данные, очистить их и предоставить вам приложение Streamlit, которое вы сможете просматривать в реальном времени при обновлении без необходимости дополнительного кодирования. Или, если вам не нужно приложение и вы хотите, чтобы я поработал над незавершенным приложением, которое у вас уже есть, я тоже могу это сделать.
Не стесняйтесь связаться со мной, чтобы начать работу над проектом.
-
5 дней23 186 UAH
146 5 дней23 186 UAHПривет, спасибо за подробное описание. Я работал над похожими проектами по сбору данных, включая сбор спортивных данных высокого объема и автоматизацию с использованием прокси для скрытности. Для Sofascore я могу создать для вас библиотеку на Python с хорошо структурированными функциями, которые возвращают предстоящие матчи, статистику прошлых матчей, информацию о игроках и рейтинги — всё через быстрый и устойчивый скрапинг.
Мой план — использовать `httpx` с `curl_cffi` и ротацией сессий, точно совпадая заголовки и отпечатки устройств. Чтобы избежать ошибок 403 при длительных запусках скрапинга, я оптимизирую обработку прокси и логику повторных попыток. Функции будут выводить чистые DataFrame pandas с сырыми JSON-данными для каждого записи, чтобы вы могли легко исследовать или сохранять данные.
Также я предлагаю кешировать токены сессий или cookies, когда это возможно, чтобы снизить нагрузку на аутентификацию и рано обнаруживать антибот-меры. Если у вас есть текущий скрипт для футбола, я буду рад улучшить его напрямую.
Могли бы вы подтвердить, есть ли у вас уже провайдер прокси или хотите, чтобы я порекомендовал более подходящего, исходя из вашего объема?
С нетерпением жду сотрудничества.
С наилучшими,
… Даниэль
-
Победившая ставка2 дня5668 UAH
733 7 0 Победившая ставка2 дня5668 UAHДобрый день!
Готов реализовать ваш проект на Python с использованием запросов к внутреннему API сайта Sofascore.
✅ Что сделаю:
Напишу стабильный Python-скрипт (библиотеку/функцию), который будет парсить данные о теннисных матчах с Sofascore (коэффициенты, статистику, рейтинги ATP и WTA и т.д.).
Предоставлю удобный интерфейс для получения данных в форматах JSON и pandas DataFrame.
…
Решу проблему с блокировками (ошибка 403), используя надёжную ротацию заголовков и proxy (если потребуется — готов предложить протестированные решения с residential proxy).
⚙️ Стек:
Python (requests, pandas)
Внутренние API-запросы JSON напрямую к серверу (без браузерной автоматизации)
🚀 Гарантирую:
Стабильность и точность данных
Высокую скорость работы (сотни тысяч запросов в сутки)
Чистый и понятный код с комментариями
Стоимость: 110 EUR
Срок: 3 дня
На связи для уточнения деталей!
-
2 дня5668 UAH
1338 17 0 2 дня5668 UAHДобрый вечер, могу помочь вам с вашим проектом, также есть опыт в данной сфере. Пишите и обсудим все детали.
-
1 день5668 UAH
639 22 0 1 день5668 UAHПривет..
Делал подобное по футболу для сайта flashcore. (есть в портфолио). По скорости примерно 2000 матчей в минуту. Если такой вариант подходит, предлагаю обсудить подробнее в личных сообщениях
Актуальные фриланс-проекты в категории Веб-программирование
Primatic - Перенос 3 страниц из Figma в WordPress (Elementor)Привет! Меня зовут Анна, я живу в Израиле и управляю небольшой креативной студией. Работаю в основном с малым и средним бизнесом и сейчас ищу фрилансера для долгосрочного сотрудничества. На данный момент есть проект: нужно перенести готовый дизайн из Figma в WordPress. Всего… HTML и CSS верстка, Веб-программирование ∙ 34 минуты назад ∙ 16 ставок |
Ищем Frontend-разработчика (React + Tailwind) для доработки сайтаВсем привет! Ищем толкового фронтендера, который поможет нам закончить сайт премиальной клиники пластической хирургии. Ситуация такая: сайт спроектирован и собран с помощью двух AI — логику, структуру и код делали через нейросети (Manus + Claude), стек получился React +… Веб-программирование, Дизайн сайтов ∙ 4 часа 11 минут назад ∙ 36 ставок |
Разработка 2 SEO-ориентированных сайтов по продаже запчастей (квадроциклы и спецтехника)Разработка двух специализированных сайтов по продаже запчастейОбщая информация Необходимо разработать два специализированных сайта: Запчасти для квадроциклов, UTV, SSV и другой подобной техники. Запчасти для специальной техники. Существующий сайт компании:… PHP, Веб-программирование ∙ 13 часов 57 минут назад ∙ 50 ставок |
Нужен специалист 1С (Управление торговлей)
1000 UAH
Нужен специалист 1С (Управление торговлей) Ищем опытного программиста 1С для небольшого проекта по интеграции. У нас интернет-магазин и конфигурация 1С УТ. Нужно настроить обмен данными между сайтом и 1С — чтобы сайт мог получать из 1С актуальную информацию (остатки, цены и… Администрирование систем и сетей, Веб-программирование ∙ 17 часов 9 минут назад ∙ 12 ставок |
Создание или корректировка сайта на opencartВсем привет! Предварительная ситуация для понимания: Заказал разработку сайта у Templatemonsters. Заранее согласовал ТЗ и купил у них шаблон. В итоге не соблюдены дэдлайны и вообще в итоге написали, что не могут сделать так, как согласовали. Хостинг купил по их рекомендации у… Веб-программирование, Интернет-магазины и электронная коммерция ∙ 2 дня 1 час назад ∙ 36 ставок |