Обхід 429 помилки (рейтліміт)
Цікаве завдання:
Є сайт, до якого летить величезна кількість запитів ( запити асинхронні ) летять вони для того, щоб зібрати інформацію і повернути на клієнт. Один запит повертає інформацію за 30 мсс+-, після 100 запитів сайт вішає 429 помилку, тобто рейтліміт.
Запити неавторизовані (без API).
Зараз використовується певна кількість проксі, але шукаємо інший варіант.
Потрібно. якщо не обійти, то збільшити кількість запитів, що відправляються на поінт, при цьому не втрачаючи в швидкості.
Проксі, сесії, хости, TLS та все, що можете запропонувати для рішення.
-
33 Доброго дня,
В приватні повідомлення можу відправити способи рішення цієї проблеми.
Готова з вами зв'язатись
-
Добрий день! А підскажете, що за ресурс? Цікаво з предметною областю ознайомитись)
-
429 помилка - це 98% реакція на ip адресу, тож збільшення кількості проксі є найлогічнішим з варіантів. Ну ще, звичайно, треба на вашу конкретну реалізацію дивитись, може ви десь недодивились.
-
Ну, поперше, вам не власться зберегти швидкість. Вам треба згенерувати помилку, зробити перевірку, якщо код 429, то прописати retry-after: секунди, або виконати зміну проксі, перед тим почистивши сессію. А взагалі так, треба бачити ресурс та реалізацію
-
Доброго дня, маю 12 пунктів як позбутися цієї проблеми.
Якщо цікаво пишіть в ПП. Чекаю вашої відповіді.
-
Актуальні фриланс-проєкти в категорії Python
Power BI
700 UAH
Дашборд працює на гугл сервері, потрібно перенести всю логіку+код Які потрібні скіли: розгортання etl процесів на linux сервері + робота із BigQuery та Postgre Є робочий код, який працює на google, де є сама БД, потрібно перенести на інший сервер, можливо переписати код. Python, Бази даних та SQL ∙ 18 годин 4 хвилини тому ∙ 13 ставок |
Telegram bot для найму/пошуку працівників. Для пошуку роботи
1100 UAH
1. Загальна концепція Створення Telegram-бота для автоматизації підбору персоналу та двостороннього пошуку роботи. Система працює за принципом активного відгуку та взаємного підтвердження інтересу (Double Opt-In). У системі передбачено дві ролі: Роботодавець (Власник фірми) та… Python, Розробка ботів ∙ 2 дні 2 години тому ∙ 90 ставок |
Технічна підтримка веб-платформи (Python/Django)Є працюючий веб-проект, потрібно підтримувати і поступово приводити в порядок, без переписування з нуля. Стек проекту: Backend: Python, Django, Django Rest Framework Frontend: Next.js База даних: PostgreSQL Інфраструктура: AWS (EC2), Nginx Є інтеграції з зовнішніми API… Python, Веб-програмування ∙ 2 дні 4 години тому ∙ 72 ставки |
Створення додаткуБажаю створити мобільний додаток для спілкування, в застосунку має бути аудіо,відео дзвінок, створення групових чатів,можливість синхронізувати з контактами телефону, налаштуваннями акаунта: привязка по мейлу, 2фа, номеру телефону,можливість налаштовувати сповіщення… Java, Python ∙ 4 дні 3 години тому ∙ 39 ставок |
Налаштування двосторонньої інтеграції WhatsApp з Odoo CRMВітаю! Шукаємо спеціаліста для реалізації технічного завдання з налаштування двосторонньої інтеграції месенджера WhatsApp з CRM-системою Odoo. ⚠️ Важливе технічне уточнення:Офіційний WhatsApp Business API (WABA) не розглядається. Необхідно впровадити стабільне «сіре» рішення… Python, Веб-програмування ∙ 4 дні 13 годин тому ∙ 26 ставок |