Здравствуйте.
Есть парсеры сайтов rebuy.de и momox.de работающие синхронно, написанные на Python3 в докере под Убунту 20.04. Данные сохраняются в MySQL.
Проблема есть с сайтом rebuy.de - банит прокси через 3-5 дней.
При снижении скорости банит меньше, но тогда сокрость ниже требуемой.
Главная цель - достичь скорости стабильного парсинга 400-500 товаров/минута на обоих сайтах при вменяемой стоимости прокси - не более 100$/месяц(с сайтом momox.de это достаточно легко).
Как вариант, рассматриваю переделку парсера ребай под работу через браузер для избежания бана прокси или любой другой действенный способ.
Код отправлю в личном сообщении, тем, кто заинтересуется.
Бюджет: 2000 UAH Срок: 5 дней
Готов попробовать реализовать rebuy.de парсер, под windows в программе ехе, поклацал , обошел первичную защиту окна проверку браузера на запросах. , напишите что нужно собирать, что бы я запустил на том этапе что есть у меня и проверил сбор.
Бюджет: 5000 UAH Срок: 5 дней
Доброго дня. Python є основною моєю мовою програмування, тому знаю його досконало (реалізую саме на ньому), маю досвід написання парсерів та роботою з БД, капчами і тд. Зроблю парсер за 15 робочих годин. Реалізую за допомогою Selenium headless.
Також працюю з : Django, Kivy, Pygt5, PySide, Tkinter, Selenium і тд. Пишіть в ЛС, є приклад роботи у портфоліо. Потрібно уточнити декілька моменів в ЛС. Буду радий з вами співпрацювати)
Не боїтеся що власник сайту, може рано чи пізно заяву кинути?😁
11 ноября 2020
Ваш вопрос не относится к задаче проекта. Задавайте вопросы по существу.
Не питаня по проекту, бомбити 5 запросів на секунду сайт, на постояні основі це не дуже добре
11 ноября 2020
Это вопрос этики. Сайт публичный, к нему имеют доступ миллионы людей. В процентном соотношении к общей нагрузке мои запросы = менее 1%. Сайт рассчитан на эту нагрузку.
Законодательные и авторские ограничения, которые установлены правилами сайта соблюдены в полной мере.
Форум проекта рассчитан на обсуждение по его выполнению, а не дискуссии о морали и правилах.
Этими вопросами Вы сами же и нарушаете правила Фрилансхант.
Если Вы такой блюститель правил, начните с себя и соблюдайте их сами прежде всего.
Прочтите информацию перейдя по ссылке на ПРАВИЛА на форуме проекта:
"Ставки в форуме проекта запрещены. Также не забудьте ознакомиться с правилами общения. ".
Ви не думали чого вас банять через пару днів , а не зразу.Якщо припустити що там є якась защіта яку ви не обійшли, то сайт має забанити через хвилин 10-30, а тут 4 дня.Може там, злющий власник сайту сидить?І 5 запросів на секунду протягом місяця(року), це не так мало, під такі запроси, можна виділяти окремий сервер😁
Законодательные и авторские ограничения, которые установлены правилами сайта соблюдены в полной мере.
Там такі написано 5 запросів на секунду можна, це не DOS,це просто ми вас парсим😁 рік)
У меня вопрос довольно простой. Я так понимаю вас банят раз в 3-4 дня, из-за того что вы парсите весь сайт? Я правильно понимаю?
Я посмотрел на сайт, и хотелось бы уточнить, какую именно информацию должен грабить парсер, и насколько часто это информация обновляется?
11 ноября 2020
Банят, раз в 3-4 дня.
Парсю по категориям.
Информацию о товарах: титл, дескпришн, цены.
Обновляется минимум раз в сутки, а то и чаще, но не по всем товарам.
можно ли не проваливаясь в карточку товара определить изменилась ли информация или нет? Как часто нужно парсить этот сайт.
Сейчас основная проблема в том, что они поставили защиту, как минимум для браузера, с задержкой открытия страницы. Правда с VPN из под немецкого ip я не пробовал заходит, но сам факт защиты есть.
11 ноября 2020
можно ли не проваливаясь в карточку товара определить изменилась ли информация или нет?
этого не знаю
Как часто нужно парсить этот сайт.
постоянно
Сейчас основная проблема в том, что они поставили защиту, как минимум для браузера, с задержкой открытия страницы. Правда с VPN из под немецкого ip я не пробовал заходит, но сам факт защиты есть.
с IP Европа/США/Англия открывается без проверки
с США быстрее всего
постоянно
я имею ввиду переодичность. Раз в час, раз в сутки, раз в двое суток.
этого не знаю
Здесь вопрос простой. Там каждый товар имеет в url свой уникальный id из их базы данных. По нему можно идентифицировать товар. меня интересует, насколько часто меняется информация по конкретному товару, не считая цены, что бы понимать, возможно ли вообще обойти бан или ограничения за счет, уменьшения количества запросов. к их серверу.
с IP Европа/США/Англия открывается без проверки
Проверка все равно есть
это с американского ip, проверка появляется меньше, но примерно каждый 4 запрос сделанный в течении 1-2 секунд, выдает это. Так что вам вряд ли удастся не снижая количество запросов, обойти защиту эмуляцией браузера, или не договорившись с владельцем об открытой выгрузке.
11 ноября 2020
я имею ввиду переодичность. Раз в час, раз в сутки, раз в двое суток.
выполняется непрерывно, там по 4м интересующим меня категориям в сумме около 6 миллионов товаров, поэтому, как только спарсили все, парсим заново. практически сразу
Здесь вопрос простой. Там каждый товар имеет в url свой уникальный id из их базы данных. По нему можно идентифицировать товар. меня интересует, насколько часто меняется информация по конкретному товару, не считая цены, что бы понимать, возможно ли вообще обойти бан или ограничения за счет, уменьшения количества запросов. к их серверу.
информация о товаре не считая цены обновляется редко,но новые товары добавляются каждый день, хоть и немного(около 1000)
это с американского ip, проверка появляется меньше, но примерно каждый 4 запрос сделанный в течении 1-2 секунд, выдает это. Так что вам вряд ли удастся не снижая количество запросов, обойти защиту эмуляцией браузера, или не договорившись с владельцем об открытой выгрузке.
может быть Ваш IP shared или недостаточно непрозрачный, либо они усилили защиту.
Кол-во запросов можно уменьшить, только покупая больше IP, вот нужно найти решение учитывая месячный бюджет на прокси и требуемую сокрость.
при парсинге запросами мы обращаемся напрямую к АПИ, оно у них открыто
пытались договориться с владельцем, но не удалось, сказали используйте как есть - use as is
тіпа власник, знає)цікаво😁 Наверно того там стільки защіти
https://www.rebuy.de/kaufen/suchen?q=s
нащо вам парсити всьой сайт, ось пошук беріть звідси ціну
11 ноября 2020
ну хоть одно сообщение по делу!
теоритически, замечание дельное, только кроме цен и титлов нужны еще описания товаров.
также, на сайте представлено 4 цены в зависимости от состояний товаров: новый, как новый, бу, плохой бу, которые не вижно по выдаче из поиска
Опис у вас є , вже по ідеї ви вже його раз парсили.
Ну це рішається, тим що ви вже його раз спарсили і знаєти в яких товарах так, і в ті товари треба заходити
11 ноября 2020
логично, ну так делайте ставку ;-)
11 ноября 2020
если не можете что-то добавить по решению задачи проекта - не засоряйте форум своими сообщения, пожалуйста.
Решения - це зменшення кількості запросів, за допомогою гібридного парсінга пошука і підкатегорій, і самих карточок, це має зменшити кількість запросів, ,відсотків так на 80
11 ноября 2020
ну, раз Вы знаете, что и как делать, почему не делаете ставку?
11 ноября 2020
ну, раз Вы знаете, что и как делать, почему не делаете ставку?
11 ноября 2020
ну, раз Вы знаете, что и как делать, почему не делаете ставку?
11 ноября 2020
ну, раз Вы знаете, что и как делать, почему не делаете ставку?
ну поперше там якась бешена защіта, цікава, обійти можна канешно, а по друге вмене немає зараз часу, вмене своїх проектів хватає) на місяць вперед
11 ноября 2020
ясно, т.е. Вы тут поболтать...
Необходимо провести глубокую техническую проверку трех PDF-файлов на достоверность и возможные признаки редактирования или подделки. Нужна не только визуальная оценка документов. Исполнитель должен хорошо понимать внутреннюю структуру PDF-файлов и уметь анализировать: метаданные файлов; структуру PDF и отдельных объектов; историю создания и возможного редактирования; используемое программное обеспечение; встроенные шрифты, изображения, слои и другие элементы; возможные признаки повторного сохранения, конвертации, внесения изменений или формирования документа задним числом; любые технические несоответствия, которые могут свидетельствовать о манипуляциях с файлами. По результатам проверки необходимо предоставить понятный письменный вывод по каждому файлу с указанием выявленных признаков, рисков и ограничений проверки. Рассматриваем специалистов, имеющих практический опыт в цифровой криминалистике, анализе PDF-документов, метаданных или проверке электронных файлов на подлинность. В отзыве, пожалуйста, кратко опишите ваш опыт, методы и инструменты, которые вы используете для такой проверки.
Индикатор для использования в торговле должен определять определенные диапазоны с историей и анализировать их с текущими
Нужен опытный Python-разработчик для создания программы автоматизации работы с сайтом. Что должен делать бот: Авторизоваться в моем аккаунте на сайте. Постоянно (24/7) отслеживать появление новых заказов на работу. После появления нового заказа открывать его карточку. Анализировать информацию о заказе (тип работ, город, расстояние, описание). Автоматически принимать заказы, которые соответствуют заданным условиям. Если заказ не соответствует условиям, пропускать его. Отправлять уведомления в Telegram о принятых и пропущенных заказах. Требования: Python. Playwright (желательно) или Selenium. Работа через обычный браузер. Передача полного исходного кода после завершения проекта. Предоставление инструкции по установке и запуску. Обязателен опыт разработки подобных систем автоматизации. При отклике, пожалуйста, отправьте примеры аналогичных проектов.
Необходимо реализовать проект по сбору и структурированию большого массива изображений из открытых веб-источников (на первом этапе 2000 изображений). Задача включает: - автоматизированный сбор изображений; - загрузку файлов в максимально доступном качестве; - классификацию изображений по категориям. Ожидаемый результат: - структурированная база изображений; - понятная система каталогизации; - передача результата через Google Drive или другой согласованный способ;
РазработкаTelegram Mini App (Бот+ WebApp)дляпродажицифровыхтоваровиигровыхвалют(Python / aiogram) Описание проекта: Требуется разработать Telegram-бота с полноценным WebApp-интерфейсом для автоматизированной продажи цифровых товаров (Telegram Stars, Telegram Premium, игровые валюты/донаты для PUBG Mobile, Steam и др.). Проект называетсяAspect App. Главный упор на скорость работы, плавный UI/UX в стиле Web3/минимализма и полную автоматизацию выдачи товаров после оплаты. Стек технологий: Backend:Python 3.10+, aiogram 3.x (FastAPI для Webhook/API приветствуется). Database:PostgreSQL / Redis (для сессий и кэширования). Frontend (WebApp):React.js / Vue.js / Next.js (на усмотрение разработчика, важна скорость и плавность анимаций). Интеграции:Telegram WebApp API. Основной функционал (MVP): 1.Клиентскаячасть(Telegram Mini App): Главныйэкран:Категории товаров (Telegram Активы, Игровой Донат). Баннерная сетка для акций. Каталогтоваров:Карточки товаров с выбором объема (например: 50, 100, 500 Telegram Stars или UC). Поля для ввода данных игрока (Player ID для PUBG). КорзинаиОформление:Быстрая покупка в 2 клика. Модульоплаты:Интеграция платежных методов (CryptoBot API / TON Connect / другие фиатные шлюзы по согласованию). Личныйкабинет:История заказов, статус выполнения, реферальная система (баланс внутри приложения). 2.Административнаяпанель(встроеннаявWebAppилиотдельныйбот): Управление каталогом (добавление/удаление товаров, изменение цен). Мониторинг заказов и статистика продаж. Система рассылок по базе пользователей. 3.Логикаавтоматизации(Будетплюсом): Готовность архитектуры под интеграцию с API поставщиков (API для авто-закупки Stars/UC). На этапе MVP часть товаров может выдаваться кодами из базы данных. Что требуется от исполнителя: 1. Разработка архитектуры БД и бэкенда на Python. 2. Верстка и интеграция WebApp (дизайн-макет обсудим, важен чистый Web3-стиль, Glassmorphism). 3. Настройка безопасных транзакций и вебхуков оплаты. 4. Деплой на сервер (Docker, Ubuntu, настройка SSL). Требования к кандидату: Опыт коммерческой разработки Telegram WebApps от 1 года. Наличие портфолио с запущенными и работающими Mini Apps (скидывайте ссылки в отклике). Чистый, документированный код. Условия работы: Работа только через БезопаснуюСделку(Сейф/ Escrow)платформы. Оплата поэтапная (разбиваем проект на Спринт 1: Бэкенд + БД, Спринт 2: Фронтенд WebApp, Спринт 3: Интеграция платёжек и тесты). Бюджет: Обсуждается с успешным кандидатом (указывайте вашу вилку цен и сроки в отклике)
