Спеціаліст по скрапінгу на python

Python, Парсинг даних — неправильно зазначені категорії?

Проєкт перекладено автоматично. Увійдіть або зареєструйтесь, щоб побачити оригінал

Нужен код на python для получения контента с сайта viagogo.com

Получить 100 раз title страницы. Без использования Selenium

В перспективе с этим кодом планируется делать несколько тысяч запросов в час.

Нужно что то подобное, как на скрине ниже - но что б работало


import requests
import re


url = "https://www.viagogo.com/Concert-Tickets/Pop-Rock/Post-Grunge/Linkin-Park-Tickets/E-156203727"
for i in range(100):   
    response = requests.get(url, timeout=10)
    match = re.search(r'<title>(.*?)</title>', response.text)  
    if match:
        title = match.group(1).strip()
        print(title)

Ставки 9 Відкликані 1 Обговорення 2

Danish M.

20 0

Проєкти 20
Оцінка 5.0
Рейтинг 3 397

Бюджет: 1000 UAH Термін: 1 день

Привіт, можу реалізувати парсер на JS, звертайтеся.
Мій стек: JS, TS, ReactJS, NextJS, SCSS...

Євгеній Семенюк

3 1

Проєкти 3
Оцінка 5.0
Рейтинг 759

Бюджет: 2000 UAH Термін: 3 дні

Доброго вечора! Готовий взятись за дане завдання, готовий виконати завдання швидко та якісно. Маю великий досвід в написанні парсерів різнохї складності, добре розумію як краще працювати з запитами. Буду радий співпраці!

Олксандр Казаров

3 1

Проєкти 3
Оцінка -
Рейтинг 449

Бюджет: 8200 UAH Термін: 7 днів

Пропоную розробити рішення для парсингу контенту з сайту viagogo.com з метою отримання заголовка (title) сторінки, яке буде масштабованим і оптимізованим для виконання тисяч запитів на годину.

Що буде зроблено:
Базовий функціонал:

Отримання title сторінки з використанням бібліотеки requests.
Обхід блокувань за допомогою ротації User-Agent і проксі.
Оптимізація для великого обсягу запитів:

Асинхронна обробка запитів за допомогою aiohttp для високої продуктивності.
Інтеграція ротації проксі-серверів і випадкових заголовків (User-Agent).
Стійкість:

Обробка можливих помилок (наприклад, блокування або таймаути).
Логування результатів і помилок для налагодження.
Переваги рішення:
Висока швидкість виконання завдяки асинхронним запитам.
Стійкість до блокувань завдяки проксі і динамічним заголовкам.
Масштабованість для обробки тисяч запитів на годину.
Готовий реалізувати рішення, надати вихідний код і інструкції по використанню. Напишіть, щоб обговорити деталі!