Виправити проблему отримання 429 помилки (Rate Limit) від Cloudflare під час роботи бота через VPN.
Виправити проблему отримання 429 помилки (Rate Limit) від Cloudflare під час роботи бота через VPN.
Бот взаємодіє з сайтом продажу квитків через браузер (з використанням спеціальних інструментів автоматизації). Усі дії, що здійснюються ботом, також доступні через UI сайту.
Бот виконує наступні кроки:
Отримання інформації про сторони арени, де доступні секції.
Отримання секцій для кожної сторони.
Застосовується фільтрація: секції, яких немає в заданому масиві, виключаються.
Отримання інформації про місця в кожній секції.
Якщо секція загальна — надсилаються додаткові запити для отримання підгруп і місць.
Додавання доступних місць у кошик (з першої підходящої секції).
Перевірка кошика.
Проблема:
Усі запити виконуються через браузер під VPN.
Раніше бот працював через проксі, але всі використані проксі потрапили в бан.
Після переходу на VPN:
Сайт відкривається, обхід Cloudflare працює.
Відправка 5–10 запитів призводить до помилки 429 від Cloudflare.
При використанні домашнього інтернету (без VPN) — бот працює стабільно, без помилок і обмежень.
Було протестовано 6 різних VPN-провайдерів — проблема зберігається в кожному випадку.
Мета:
Знайти та реалізувати робоче рішення, яке дозволяє виконувати вищеописані дії з сайту через VPN без отримання 429 помилки від Cloudflare.
проект написаний на laravel/php/docker/selenium
-
394 0 1 Доброго дня, маю досвід у розробці певного роду софту для усунення подібних помилок. Можу покращити Ваш код або підказати, що саме потрібно змінити в коді, щоб ця помилка була усунена. Ціна договірна, біржа не дозволяє поставити нижче.
-
324 23 1 Привіт, маю великий досвід з парсингом та обходом CF, звертайтеся !
-
1388 4 0 Доброго дня.
Готовий підказати вам робоче рішення і/або модернізувати ваш софт під нього. Напишіть, якщо цікаво.
P.S. Вартість нижчу не виходить поставити.
Актуальні фриланс-проєкти в категорії PHP
Зробити щоб листи про замовлення з магазину не потрапляли в спамЗараз є магазин на опенкарті, листи про замовлення потрапляють до спаму, треба зробити так щоб потрапляли в Вхідні (ukr.net gmail) перевірити. хостинг написав: Погана доставка електронної пошти може бути пов'язана з низькою репутацією відправника - IP або домену. У такому… PHP, Веб-програмування ∙ 6 годин 23 хвилини тому ∙ 44 ставки |
Перенести повністю готову адаптивну HTML5-структуру в WordPress.
12 000 UAH
Я шукаю досвідченого WordPress-розробника, який зможе перетворити наш ретельно підготовлений статичний HTML5/CSS3 код у високопродуктивну кастомну WordPress-тему. Фронтенд уже практично готовий (приблизно 99%): семантична розмітка, метадані та мультимовна структура (hreflang)… CMS, PHP ∙ 3 дні 8 годин тому ∙ 68 ставок |
Інтеграція GoPosПривіт, робив хтось інтеграцію GoPos з кастомним сайтом для ресторану в Польщі? Потрібна допомога, у них дуже скудна документація, є тільки swagger і той без описів https://app.gopos.io/doc/swagger-ui/index.html Суть така, використовували від них сайт для онлайн замовлень, якщо… PHP, Веб-програмування ∙ 4 дні тому ∙ 25 ставок |
Прописати мета дані АЛЬТ за допомогою ІІСайт на Laravel, на сайті багато зображень, для яких потрібно прописати коректні за семантикою та релевантні для сторінки АЛЬТ описання зображення в автоматичному режимі, з можливістю перевірки AI та машинне навчання, PHP ∙ 4 дні 21 година тому ∙ 35 ставок |
Потрібен розробник для завершення та інтеграції проєкту з автоматичного збору й обробки данних
700 UAH
Основна частина парсера вже реалізована. Парсер працює на Windows-середовищі через Microsoft Edge: сайт має антибот-захист, тому збір даних виконується не прямими HTTP-запитами, а через живу браузерну сесію. Скрипти керують відкритою вкладкою Edge через Chrome DevTools Protocol,… PHP, Веб-програмування ∙ 5 днів 3 години тому ∙ 26 ставок |