Переделать парсер из реквестов в браузер
Здравствуйте.
Есть парсеры сайтов rebuy.de и momox.de работающие синхронно, написанные на Python3 в докере под Убунту 20.04. Данные сохраняются в MySQL.
Проблема есть с сайтом rebuy.de - банит прокси через 3-5 дней.
При снижении скорости банит меньше, но тогда сокрость ниже требуемой.
Главная цель - достичь скорости стабильного парсинга 400-500 товаров/минута на обоих сайтах при вменяемой стоимости прокси - не более 100$/месяц(с сайтом momox.de это достаточно легко).
Как вариант, рассматриваю переделку парсера ребай под работу через браузер для избежания бана прокси или любой другой действенный способ.
Код отправлю в личном сообщении, тем, кто заинтересуется.
-
5 днів2000 UAH
35 5 днів2000 UAH
Готов попробовать реализовать rebuy.de парсер, под windows в программе ехе, поклацал , обошел первичную защиту окна проверку браузера на запросах. , напишите что нужно собирать, что бы я запустил на том этапе что есть у меня и проверил сбор.
-
5 днів5000 UAH
786 27 2 2 5 днів5000 UAH
Доброго дня. Python є основною моєю мовою програмування, тому знаю його досконало (реалізую саме на ньому), маю досвід написання парсерів та роботою з БД, капчами і тд. Зроблю парсер за 15 робочих годин. Реалізую за допомогою Selenium headless.
Також працюю з : Django, Kivy, Pygt5, PySide, Tkinter, Selenium і тд. Пишіть в ЛС, є приклад роботи у портфоліо. Потрібно уточнити декілька моменів в ЛС. Буду радий з вами співпрацювати)
-
Не боїтеся що власник сайту, може рано чи пізно заяву кинути?😁
-
Ваш вопрос не относится к задаче проекта. Задавайте вопросы по существу.
-
Не питаня по проекту, бомбити 5 запросів на секунду сайт, на постояні основі це не дуже добре
-
Это вопрос этики. Сайт публичный, к нему имеют доступ миллионы людей. В процентном соотношении к общей нагрузке мои запросы = менее 1%. Сайт рассчитан на эту нагрузку.
Законодательные и авторские ограничения, которые установлены правилами сайта соблюдены в полной мере.
Форум проекта рассчитан на обсуждение по его выполнению, а не дискуссии о морали и правилах.
Этими вопросами Вы сами же и нарушаете правила Фрилансхант.
Если Вы такой блюститель правил, начните с себя и соблюдайте их сами прежде всего.
Прочтите информацию перейдя по ссылке на ПРАВИЛА на форуме проекта:
"Ставки в форуме проекта запрещены. Также не забудьте ознакомиться с правилами общения. ".
-
Ви не думали чого вас банять через пару днів , а не зразу.Якщо припустити що там є якась защіта яку ви не обійшли, то сайт має забанити через хвилин 10-30, а тут 4 дня.Може там, злющий власник сайту сидить?І 5 запросів на секунду протягом місяця(року), це не так мало, під такі запроси, можна виділяти окремий сервер😁
-
Законодательные и авторские ограничения, которые установлены правилами сайта соблюдены в полной мере.
Там такі написано 5 запросів на секунду можна, це не DOS,це просто ми вас парсим😁 рік)
-
У меня вопрос довольно простой. Я так понимаю вас банят раз в 3-4 дня, из-за того что вы парсите весь сайт? Я правильно понимаю?
Я посмотрел на сайт, и хотелось бы уточнить, какую именно информацию должен грабить парсер, и насколько часто это информация обновляется? -
Банят, раз в 3-4 дня.
Парсю по категориям.
Информацию о товарах: титл, дескпришн, цены.
Обновляется минимум раз в сутки, а то и чаще, но не по всем товарам.
-
можно ли не проваливаясь в карточку товара определить изменилась ли информация или нет? Как часто нужно парсить этот сайт.
Сейчас основная проблема в том, что они поставили защиту, как минимум для браузера, с задержкой открытия страницы. Правда с VPN из под немецкого ip я не пробовал заходит, но сам факт защиты есть. -
можно ли не проваливаясь в карточку товара определить изменилась ли информация или нет?
этого не знаю
Как часто нужно парсить этот сайт.
постоянно
Сейчас основная проблема в том, что они поставили защиту, как минимум для браузера, с задержкой открытия страницы. Правда с VPN из под немецкого ip я не пробовал заходит, но сам факт защиты есть.
с IP Европа/США/Англия открывается без проверки
с США быстрее всего
-
постоянно
я имею ввиду переодичность. Раз в час, раз в сутки, раз в двое суток.
этого не знаю
Здесь вопрос простой. Там каждый товар имеет в url свой уникальный id из их базы данных. По нему можно идентифицировать товар. меня интересует, насколько часто меняется информация по конкретному товару, не считая цены, что бы понимать, возможно ли вообще обойти бан или ограничения за счет, уменьшения количества запросов. к их серверу.
с IP Европа/США/Англия открывается без проверки
Проверка все равно есть
это с американского ip, проверка появляется меньше, но примерно каждый 4 запрос сделанный в течении 1-2 секунд, выдает это. Так что вам вряд ли удастся не снижая количество запросов, обойти защиту эмуляцией браузера, или не договорившись с владельцем об открытой выгрузке.
-
я имею ввиду переодичность. Раз в час, раз в сутки, раз в двое суток.
выполняется непрерывно, там по 4м интересующим меня категориям в сумме около 6 миллионов товаров, поэтому, как только спарсили все, парсим заново. практически сразу
Здесь вопрос простой. Там каждый товар имеет в url свой уникальный id из их базы данных. По нему можно идентифицировать товар. меня интересует, насколько часто меняется информация по конкретному товару, не считая цены, что бы понимать, возможно ли вообще обойти бан или ограничения за счет, уменьшения количества запросов. к их серверу.
информация о товаре не считая цены обновляется редко,но новые товары добавляются каждый день, хоть и немного(около 1000)
это с американского ip, проверка появляется меньше, но примерно каждый 4 запрос сделанный в течении 1-2 секунд, выдает это. Так что вам вряд ли удастся не снижая количество запросов, обойти защиту эмуляцией браузера, или не договорившись с владельцем об открытой выгрузке.
может быть Ваш IP shared или недостаточно непрозрачный, либо они усилили защиту.
Кол-во запросов можно уменьшить, только покупая больше IP, вот нужно найти решение учитывая месячный бюджет на прокси и требуемую сокрость.
при парсинге запросами мы обращаемся напрямую к АПИ, оно у них открыто
пытались договориться с владельцем, но не удалось, сказали используйте как есть - use as is
-
тіпа власник, знає)цікаво😁 Наверно того там стільки защіти
-
https://www.rebuy.de/kaufen/suchen?q=s
нащо вам парсити всьой сайт, ось пошук беріть звідси ціну
-
ну хоть одно сообщение по делу!
теоритически, замечание дельное, только кроме цен и титлов нужны еще описания товаров.
также, на сайте представлено 4 цены в зависимости от состояний товаров: новый, как новый, бу, плохой бу, которые не вижно по выдаче из поиска
-
Опис у вас є , вже по ідеї ви вже його раз парсили.
Ну це рішається, тим що ви вже його раз спарсили і знаєти в яких товарах так, і в ті товари треба заходити
-
логично, ну так делайте ставку 😉
-
если не можете что-то добавить по решению задачи проекта - не засоряйте форум своими сообщения, пожалуйста.
-
Решения - це зменшення кількості запросів, за допомогою гібридного парсінга пошука і підкатегорій, і самих карточок, це має зменшити кількість запросів, ,відсотків так на 80
-
ну, раз Вы знаете, что и как делать, почему не делаете ставку?
-
ну, раз Вы знаете, что и как делать, почему не делаете ставку?
-
ну, раз Вы знаете, что и как делать, почему не делаете ставку?
-
ну, раз Вы знаете, что и как делать, почему не делаете ставку?
-
ну поперше там якась бешена защіта, цікава, обійти можна канешно, а по друге вмене немає зараз часу, вмене своїх проектів хватає) на місяць вперед
-
ясно, т.е. Вы тут поболтать...
-
Актуальні фриланс-проєкти в категорії Python
Power BI
700 UAH
Дашборд працює на гугл сервері, потрібно перенести всю логіку+код Які потрібні скіли: розгортання etl процесів на linux сервері + робота із BigQuery та Postgre Є робочий код, який працює на google, де є сама БД, потрібно перенести на інший сервер, можливо переписати код. Python, Бази даних та SQL ∙ 14 годин 48 хвилин тому ∙ 13 ставок |
Telegram bot для найму/пошуку працівників. Для пошуку роботи
1100 UAH
1. Загальна концепція Створення Telegram-бота для автоматизації підбору персоналу та двостороннього пошуку роботи. Система працює за принципом активного відгуку та взаємного підтвердження інтересу (Double Opt-In). У системі передбачено дві ролі: Роботодавець (Власник фірми) та… Python, Розробка ботів ∙ 1 день 22 години тому ∙ 90 ставок |
Технічна підтримка веб-платформи (Python/Django)Є працюючий веб-проект, потрібно підтримувати і поступово приводити в порядок, без переписування з нуля. Стек проекту: Backend: Python, Django, Django Rest Framework Frontend: Next.js База даних: PostgreSQL Інфраструктура: AWS (EC2), Nginx Є інтеграції з зовнішніми API… Python, Веб-програмування ∙ 2 дні тому ∙ 72 ставки |
Створення додаткуБажаю створити мобільний додаток для спілкування, в застосунку має бути аудіо,відео дзвінок, створення групових чатів,можливість синхронізувати з контактами телефону, налаштуваннями акаунта: привязка по мейлу, 2фа, номеру телефону,можливість налаштовувати сповіщення… Java, Python ∙ 3 дні 23 години тому ∙ 39 ставок |
Налаштування двосторонньої інтеграції WhatsApp з Odoo CRMВітаю! Шукаємо спеціаліста для реалізації технічного завдання з налаштування двосторонньої інтеграції месенджера WhatsApp з CRM-системою Odoo. ⚠️ Важливе технічне уточнення:Офіційний WhatsApp Business API (WABA) не розглядається. Необхідно впровадити стабільне «сіре» рішення… Python, Веб-програмування ∙ 4 дні 9 годин тому ∙ 26 ставок |
Харків