Скрипт для веб-скрапінгу спортивних даних з Sofascore
Потрібен код для веб-скрапінгу на Python. Бібліотека/функція, яку я можу використовувати для досягнення наступних цілей:
- Отримати дані майбутніх тенісних матчів: коефіцієнти, імена гравців, рейтинги та стандартні дані матчів, які вони вказують на сайті
- Отримати історичні дані тенісних матчів: статистика, по пунктах, тенісна потужність, коефіцієнти, імена гравців і рейтинги, стандартні дані матчів, які вони вказують на сайті
- Дані окремого тенісного гравця.
- Рейтинги ATP та WTA (тенісні рейтинги)
Всі ці дані, ймовірно, знаходяться у вигляді json-файлів у мережевій активності сайту. Мені потрібно, щоб хтось створив функції/бібліотеку на Python, яка отримує ці дані та повертає, наприклад, DataFrame з цими json-даними, збереженими у стовпцях у вигляді рядків або json.
У мене вже є код, який робить подібне для футбольних матчів. Але цей код отримує лише близько 500-1500 історичних матчів і потім отримує помилку 403. Це рішення для скрапінгу тенісних даних потрібно зробити швидким і надійним, щоб за кілька годин/днів отримати 300000 матчів. А майбутні/заплановані матчі — за секунди/хвилини. Мій поточний код для скрапінгу футболу використовує curl_cffi, різні налаштування заголовків (мова і налаштування браузера), найдешевший ротаційний резидентний проксі, який я знайшов, і кілька секунд паузи між запитами. Стелс-функції цього коду зроблені мною, тому є багато можливостей для покращення.
Будь ласка, запитайте, якщо потрібно більше інформації про цей проект.
Відгук замовника про співпрацю з Елисеєм Х.
Скрипт для веб-скрапінгу спортивних даних з SofascoreЧудовий кінцевий результат. Гарна робота.
Відгук фрилансера про співпрацю з Joachim Virta
Скрипт для веб-скрапінгу спортивних даних з SofascoreЯ щиро вдячний Йоахіму за цей проект. Чіткі технічні вимоги, швидке та дружелюбне спілкування, глибока залученість у процес — робота разом була справді приємною. Замовник завжди надавав своєчасний зворотній зв’язок, забезпечував весь необхідний доступ і швидко приймав рішення, що дозволяло мені повністю зосередитися на технічній стороні та досягти найкращого результату. Я був би радий знову співпрацювати з Йоахімом у майбутньому і однозначно рекомендую його як надійного та розуміючого клієнта.
Дякую за можливість працювати над цікавою та значущою задачею!
-
5 днів23 110 UAH5 днів23 110 UAH
Привіт Йоахім,
Я ретельно проаналізував ваш проект із вилучення даних про теніс із Sofascore. Це складне завдання, і у мене є досвід для створення надійного високошвидкісного рішення, яке вам потрібно.
Помилка 403, з якою ви стикаєтеся у вашому поточному скрипті, є чітким знаком того, що Sofascore успішно "ідентифікує" та блокує ваші запити. Простий підхід із curl_cffi з базовими заголовками та проксі зазвичай недостатній для такої складної цілі.
Щоб вирішити цю проблему, я створю професійний бібліотечний інструмент для вилучення даних на Python із набагато потужнішою архітектурою:
Основний движок (Playwright): я використовую Playwright, а не просто бібліотеку requests. Це дозволяє автоматизувати реальний браузер, що робить поведінку нашого скрипта майже не відрізняним від поведінки людського користувача.
…
Просунута анти-ідентифікація: я впроваджу техніки приховування для уникнення виявлення. Це включає створення користувацьких "контекстів" браузера з випадковими агентами користувача, роздільною здатністю екрана та іншими властивостями браузера, які шукають системи антибот.
Інтелектуальне управління запитами: скрипт буде імітувати поведінку людини під час перегляду, а не просто робити швидкі запити. Також він розумно керуватиме ротацією проксі, щоб мінімізувати ризик блокування IP.
Як сертифікований розробник Python за стандартом PCAP™, я спеціалізуюся на створенні таких надійних систем вилучення даних. Остаточний продукт — це чиста бібліотека Python із функціями, такими як get_upcoming_matches(), get_historical_data(match_id) тощо, що повертають дані у DataFrame, як ви просили.
Загальна оцінка:
Термін: 5 днів
Ціна: 450 доларів США
Ваш бюджет у €110, на жаль, недостатній для розробки системи, яка зможе обійти сучасне рішення антибот на потрібному вам масштабі. Моя ціна відображає розробку професійного інструменту, який буде швидким, надійним і здатним обробляти ваші дані.
Я готовий створити скребок, який дійсно працює.
-
2 дні5649 UAH
71 2 дні5649 UAHПривіт, Йоахім.
Мені потрібно сказати, що я нещодавно працював над веб-скрепером для коледжного проекту, а також створив застосунок Streamlit для перегляду та аналізу зібраних даних за допомогою динамічних графіків.
Python — одна з моїх сильних навичок, оскільки я створив багато проектів з даними, використовуючи його.
Для вашого проекту я можу зібрати дані, очистити їх і надати вам застосунок Streamlit, який ви зможете переглядати в реальному часі, коли він оновлюється, без додаткового кодування. Або, якщо вам не потрібен цей застосунок і ви хочете, щоб я працював над вже незавершеним застосунком, який у вас є, я також можу це зробити.
Не соромтеся зв’язатися зі мною, щоб почати роботу над проектом.
-
5 днів23 110 UAH
146 5 днів23 110 UAHПривіт, дякую за детальний розбір. Я працював над подібними проектами з веб-скрапінгу, включаючи збір даних про спорт у великих обсягах та автоматизацію з використанням проксі для приховування. Для Sofascore я можу створити для вас бібліотеку на Python з добре структурованими функціями, які повертають майбутні матчі, статистику історичних матчів, інформацію про гравців та рейтинги — все через швидкий та надійний скрапінг.
Мій план — використовувати `httpx` з `curl_cffi` та ротацією сесій, точно імітуючи заголовки та відбитки пристроїв. Щоб уникнути помилок 403 під час довгих сесій скрапінгу, я оптимізую обробку проксі та логіку повторних спроб. Функції будуть виводити чисті DataFrame pandas з необробленими JSON-повідомленнями для кожного запису, щоб ви могли легко досліджувати або зберігати дані.
Також я пропоную кешувати токени сесій або cookies, коли це можливо, щоб зменшити навантаження на автентифікацію та рано виявляти поведінку антибота. Якщо у вас вже є ваш поточний скрипт для футболу, я з радістю покращу його безпосередньо.
Чи можете ви підтвердити, чи вже маєте провайдера проксі, або бажаєте, щоб я порекомендував кращого на основі вашого обсягу?
З нетерпінням чекаю на співпрацю.
З найкращими побажаннями,
… Даніел
-
Переможець2 дні5649 UAH
709 7 0 Переможець2 дні5649 UAHДоброго дня!
Готовий реалізувати ваш проект на Python з використанням запитів до внутрішнього API сайту Sofascore.
✅ Що зроблю:
Напишу стабільний Python-скрипт (бібліотеку/функцію), який буде парсити дані про тенісні матчі з Sofascore (коефіцієнти, статистику, рейтинги ATP і WTA тощо).
Надаю зручний інтерфейс для отримання даних у форматах JSON і pandas DataFrame.
…
Розв’яжу проблему з блокуваннями (помилка 403), використовуючи надійну ротацію заголовків і proxy (якщо потрібно — можу запропонувати протестовані рішення з residential proxy).
⚙️ Стек:
Python (requests, pandas)
Внутрішні API-запити JSON безпосередньо до сервера (без браузерної автоматизації)
🚀 Гарантую:
Стабільність і точність даних
Високу швидкість роботи (сотні тисяч запитів на добу)
Чистий і зрозумілий код з коментарями
Вартість: 110 EUR
Термін: 3 дні
На зв’язку для уточнення деталей!
-
2 дні5649 UAH
1338 17 0 2 дні5649 UAHДобрий вечір, можу допомогти вам з вашим проєктом, також є досвід у даній сфері. Пишіть і обговоримо всі деталі.
-
1 день5649 UAH
639 22 0 1 день5649 UAHВітаю..
Робив подібне по футболу для сайту flashcore. (є в портфоліо). По швидкодії приблизно 2тис. матчів за хвилину. Якщо підходить такий варіант пропоную більш детально обговорити в особистих повідомленнях
Актуальні фриланс-проєкти в категорії Веб-програмування
Ап май сайт
700 UAH
Є налаштований застосунок ап май сайт, потрібно підвантажити в нього товари з системи вукомерс. Ніяких налаштувань робити більш не потрібно, цікава вартість та термін Веб-програмування ∙ 10 годин 52 хвилини тому ∙ 20 ставок |
Комерційна on-premise платформа відеозв'язку «ViM»Требуется разработати on-premise систему відеозв'язку з базовим розрахунком на 100 одночасних підключень (10 ізольованих кімнат по 10 осіб). Платформа повинна мати закладену архітектуру для майбутнього горизонтального масштабування до 1000 користувачів шляхом додавання нових… Javascript та Typescript, Веб-програмування ∙ 13 годин 14 хвилин тому ∙ 22 ставки |
Треба зверстати сайт з пдф, чи можливо?Дизайн вже повністю намалбований але є його тільки пдф, бо було втрачено фігму... Можливі розбіжності по ньому. Це припустимо. Чи потрібно малювати його в фігму? Або можливо зверстати та поставити на CMS, та питання відразу на яку? Далі робот буде багато. Треба почати з цього.… HTML та CSS верстання, Веб-програмування ∙ 14 годин 55 хвилин тому ∙ 97 ставок |
Розробка системи автоматизації публікації вакансій у Facebook-групах для кадрового агентстваШукаю спеціаліста для створення та подальшого супроводження системи публікації вакансій у Facebook-групах.Про компанію:Ми є кадровим агентством в Ізраїлі і займаємося підбором персоналу для підприємств, заводів, складів, виробничих компаній та інших роботодавців по всій… Веб-програмування, Розробка ботів ∙ 1 день 3 години тому ∙ 39 ставок |
Верстальщик для багатосторінкового рекламного матеріалу сайту (Health Media) — вайб-кодинг, чистий код
6677 UAH
Потрібно створити багатосторінковий сайт у стилі health media, за зразком healthinsider.news. Не просто лендінг — повноцінний псевдо-редакційний сайт (advertorial), під який буде литися трафік з Meta Ads. ВАЖЛИВО: завдання виконується через вайб-кодинг (AI-assisted coding /… HTML та CSS верстання, Веб-програмування ∙ 1 день 6 годин тому ∙ 58 ставок |