Здравствуйте.
Есть парсеры сайтов rebuy.de и momox.de работающие синхронно, написанные на Python3 в докере под Убунту 20.04. Данные сохраняются в MySQL.
Проблема есть с сайтом rebuy.de - банит прокси через 3-5 дней.
При снижении скорости банит меньше, но тогда сокрость ниже требуемой.
Главная цель - достичь скорости стабильного парсинга 400-500 товаров/минута на обоих сайтах при вменяемой стоимости прокси - не более 100$/месяц(с сайтом momox.de это достаточно легко).
Как вариант, рассматриваю переделку парсера ребай под работу через браузер для избежания бана прокси или любой другой действенный способ.
Код отправлю в личном сообщении, тем, кто заинтересуется.
Бюджет: 2000 UAH Термін: 5 днів
Готов попробовать реализовать rebuy.de парсер, под windows в программе ехе, поклацал , обошел первичную защиту окна проверку браузера на запросах. , напишите что нужно собирать, что бы я запустил на том этапе что есть у меня и проверил сбор.
Бюджет: 5000 UAH Термін: 5 днів
Доброго дня. Python є основною моєю мовою програмування, тому знаю його досконало (реалізую саме на ньому), маю досвід написання парсерів та роботою з БД, капчами і тд. Зроблю парсер за 15 робочих годин. Реалізую за допомогою Selenium headless.
Також працюю з : Django, Kivy, Pygt5, PySide, Tkinter, Selenium і тд. Пишіть в ЛС, є приклад роботи у портфоліо. Потрібно уточнити декілька моменів в ЛС. Буду радий з вами співпрацювати)
Не боїтеся що власник сайту, може рано чи пізно заяву кинути?😁
11 листопада 2020
Ваш вопрос не относится к задаче проекта. Задавайте вопросы по существу.
Не питаня по проекту, бомбити 5 запросів на секунду сайт, на постояні основі це не дуже добре
11 листопада 2020
Это вопрос этики. Сайт публичный, к нему имеют доступ миллионы людей. В процентном соотношении к общей нагрузке мои запросы = менее 1%. Сайт рассчитан на эту нагрузку.
Законодательные и авторские ограничения, которые установлены правилами сайта соблюдены в полной мере.
Форум проекта рассчитан на обсуждение по его выполнению, а не дискуссии о морали и правилах.
Этими вопросами Вы сами же и нарушаете правила Фрилансхант.
Если Вы такой блюститель правил, начните с себя и соблюдайте их сами прежде всего.
Прочтите информацию перейдя по ссылке на ПРАВИЛА на форуме проекта:
"Ставки в форуме проекта запрещены. Также не забудьте ознакомиться с правилами общения. ".
Ви не думали чого вас банять через пару днів , а не зразу.Якщо припустити що там є якась защіта яку ви не обійшли, то сайт має забанити через хвилин 10-30, а тут 4 дня.Може там, злющий власник сайту сидить?І 5 запросів на секунду протягом місяця(року), це не так мало, під такі запроси, можна виділяти окремий сервер😁
Законодательные и авторские ограничения, которые установлены правилами сайта соблюдены в полной мере.
Там такі написано 5 запросів на секунду можна, це не DOS,це просто ми вас парсим😁 рік)
У меня вопрос довольно простой. Я так понимаю вас банят раз в 3-4 дня, из-за того что вы парсите весь сайт? Я правильно понимаю?
Я посмотрел на сайт, и хотелось бы уточнить, какую именно информацию должен грабить парсер, и насколько часто это информация обновляется?
11 листопада 2020
Банят, раз в 3-4 дня.
Парсю по категориям.
Информацию о товарах: титл, дескпришн, цены.
Обновляется минимум раз в сутки, а то и чаще, но не по всем товарам.
можно ли не проваливаясь в карточку товара определить изменилась ли информация или нет? Как часто нужно парсить этот сайт.
Сейчас основная проблема в том, что они поставили защиту, как минимум для браузера, с задержкой открытия страницы. Правда с VPN из под немецкого ip я не пробовал заходит, но сам факт защиты есть.
11 листопада 2020
можно ли не проваливаясь в карточку товара определить изменилась ли информация или нет?
этого не знаю
Как часто нужно парсить этот сайт.
постоянно
Сейчас основная проблема в том, что они поставили защиту, как минимум для браузера, с задержкой открытия страницы. Правда с VPN из под немецкого ip я не пробовал заходит, но сам факт защиты есть.
с IP Европа/США/Англия открывается без проверки
с США быстрее всего
постоянно
я имею ввиду переодичность. Раз в час, раз в сутки, раз в двое суток.
этого не знаю
Здесь вопрос простой. Там каждый товар имеет в url свой уникальный id из их базы данных. По нему можно идентифицировать товар. меня интересует, насколько часто меняется информация по конкретному товару, не считая цены, что бы понимать, возможно ли вообще обойти бан или ограничения за счет, уменьшения количества запросов. к их серверу.
с IP Европа/США/Англия открывается без проверки
Проверка все равно есть
это с американского ip, проверка появляется меньше, но примерно каждый 4 запрос сделанный в течении 1-2 секунд, выдает это. Так что вам вряд ли удастся не снижая количество запросов, обойти защиту эмуляцией браузера, или не договорившись с владельцем об открытой выгрузке.
11 листопада 2020
я имею ввиду переодичность. Раз в час, раз в сутки, раз в двое суток.
выполняется непрерывно, там по 4м интересующим меня категориям в сумме около 6 миллионов товаров, поэтому, как только спарсили все, парсим заново. практически сразу
Здесь вопрос простой. Там каждый товар имеет в url свой уникальный id из их базы данных. По нему можно идентифицировать товар. меня интересует, насколько часто меняется информация по конкретному товару, не считая цены, что бы понимать, возможно ли вообще обойти бан или ограничения за счет, уменьшения количества запросов. к их серверу.
информация о товаре не считая цены обновляется редко,но новые товары добавляются каждый день, хоть и немного(около 1000)
это с американского ip, проверка появляется меньше, но примерно каждый 4 запрос сделанный в течении 1-2 секунд, выдает это. Так что вам вряд ли удастся не снижая количество запросов, обойти защиту эмуляцией браузера, или не договорившись с владельцем об открытой выгрузке.
может быть Ваш IP shared или недостаточно непрозрачный, либо они усилили защиту.
Кол-во запросов можно уменьшить, только покупая больше IP, вот нужно найти решение учитывая месячный бюджет на прокси и требуемую сокрость.
при парсинге запросами мы обращаемся напрямую к АПИ, оно у них открыто
пытались договориться с владельцем, но не удалось, сказали используйте как есть - use as is
тіпа власник, знає)цікаво😁 Наверно того там стільки защіти
https://www.rebuy.de/kaufen/suchen?q=s
нащо вам парсити всьой сайт, ось пошук беріть звідси ціну
11 листопада 2020
ну хоть одно сообщение по делу!
теоритически, замечание дельное, только кроме цен и титлов нужны еще описания товаров.
также, на сайте представлено 4 цены в зависимости от состояний товаров: новый, как новый, бу, плохой бу, которые не вижно по выдаче из поиска
Опис у вас є , вже по ідеї ви вже його раз парсили.
Ну це рішається, тим що ви вже його раз спарсили і знаєти в яких товарах так, і в ті товари треба заходити
11 листопада 2020
логично, ну так делайте ставку ;-)
11 листопада 2020
если не можете что-то добавить по решению задачи проекта - не засоряйте форум своими сообщения, пожалуйста.
Решения - це зменшення кількості запросів, за допомогою гібридного парсінга пошука і підкатегорій, і самих карточок, це має зменшити кількість запросів, ,відсотків так на 80
11 листопада 2020
ну, раз Вы знаете, что и как делать, почему не делаете ставку?
11 листопада 2020
ну, раз Вы знаете, что и как делать, почему не делаете ставку?
11 листопада 2020
ну, раз Вы знаете, что и как делать, почему не делаете ставку?
11 листопада 2020
ну, раз Вы знаете, что и как делать, почему не делаете ставку?
ну поперше там якась бешена защіта, цікава, обійти можна канешно, а по друге вмене немає зараз часу, вмене своїх проектів хватає) на місяць вперед
11 листопада 2020
ясно, т.е. Вы тут поболтать...
Необхідно провести глибоку технічну перевірку трьох PDF-файлів на достовірність та можливі ознаки редагування або підробки. Потрібна не лише візуальна оцінка документів. Виконавець повинен добре розуміти внутрішню структуру PDF-файлів та вміти аналізувати: метадані файлів; структуру PDF та окремих об’єктів; історію створення і можливого редагування; використане програмне забезпечення; вбудовані шрифти, зображення, шари та інші елементи; можливі ознаки повторного збереження, конвертації, внесення змін або формування документа заднім числом; будь-які технічні невідповідності, які можуть свідчити про маніпуляції з файлами. За результатом перевірки необхідно надати зрозумілий письмовий висновок щодо кожного файлу із зазначенням виявлених ознак, ризиків та обмежень перевірки. Розглядаємо фахівців, які мають практичний досвід у цифровій криміналістиці, аналізі PDF-документів, метаданих або перевірці електронних файлів на автентичність. У відгуку, будь ласка, коротко опишіть ваш досвід, методи та інструменти, які ви використовуєте для такої перевірки.
Індикатор для користування у торгівлі повинен визначати певні діапазони з історію і аналізувати їх з поточним
Потрібен досвідчений Python-розробник для створення програми автоматизації роботи із сайтом. Що має робити бот: Авторизуватися в моєму акаунті на сайті. Постійно (24/7) відстежувати появу новихWork Orders. Після появи нового замовлення відкривати його картку. Аналізувати інформацію про замовлення (тип робіт, місто, відстань, опис). Автоматично приймати замовлення, які відповідають заданим умовам. Якщо замовлення не відповідає умовам, пропускати його. Надсилати сповіщення в Telegram про прийняті та пропущені замовлення. Вимоги: Python. Playwright (бажано) або Selenium. Робота через звичайний браузер. Передача повного вихідного коду після завершення проєкту. Надання інструкції зі встановлення та запуску. Обов’язковий досвід розробки подібних систем автоматизації. Під час відгуку, будь ласка, надішліть приклади аналогічних проєктів.
Потрібно реалізувати проєкт зі збору та структурування великого масиву зображень із відкритих вебджерел (на першому етапі 2000 зображень). Задача включає: - автоматизований збір зображень; - завантаження файлів у максимально доступній якості; - класифікацію зображень за категоріями. Очікуваний результат: - структурована база зображень; - зрозуміла система каталогізації; - передача результату через Google Drive або інший погоджений спосіб;
Розробка Telegram Mini App (Бот + WebApp) для продажу цифрових товарів та ігрових валют (Python / aiogram) Опис проекту: Потрібно розробити Telegram-бота з повноцінним WebApp-інтерфейсом для автоматизованого продажу цифрових товарів (Telegram Stars, Telegram Premium, ігрові валюти/донати для PUBG Mobile, Steam тощо). Проект називається Aspect App. Головний акцент на швидкості роботи, плавному UI/UX в стилі Web3/мінімалізму та повній автоматизації видачі товарів після оплати. Стек технологій: Backend: Python 3.10+, aiogram 3.x (FastAPI для Webhook/API вітається). Database: PostgreSQL / Redis (для сесій та кешування). Frontend (WebApp): React.js / Vue.js / Next.js (на розсуд розробника, важлива швидкість і плавність анімацій). Інтеграції: Telegram WebApp API. Основний функціонал (MVP): 1. Клієнтська частина (Telegram Mini App): Головний екран: Категорії товарів (Telegram Активи, Ігровий Донат). Банерна сітка для акцій. Каталог товарів: Картки товарів з вибором обсягу (наприклад: 50, 100, 500 Telegram Stars або UC). Поля для введення даних гравця (Player ID для PUBG). Кошик та Оформлення: Швидка покупка в 2 кліка. Модуль оплати: Інтеграція платіжних методів (CryptoBot API / TON Connect / інші фіатні шлюзи за погодженням). Особистий кабінет: Історія замовлень, статус виконання, реферальна система (баланс всередині додатку). 2. Адміністративна панель (вбудована в WebApp або окремий бот): Управління каталогом (додавання/видалення товарів, зміна цін). Моніторинг замовлень та статистика продажів. Система розсилок по базі користувачів. 3. Логіка автоматизації (буде плюсом): Готовність архітектури під інтеграцію з API постачальників (API для авто-купівлі Stars/UC). На етапі MVP частина товарів може видаватися кодами з бази даних. Що потрібно від виконавця: 1. Розробка архітектури БД та бекенду на Python. 2. Верстка та інтеграція WebApp (дизайн-макет обговоримо, важливий чистий Web3-стиль, Glassmorphism). 3. Налаштування безпечних транзакцій та вебхуків оплати. 4. Деплой на сервер (Docker, Ubuntu, налаштування SSL). Вимоги до кандидата: Досвід комерційної розробки Telegram WebApps від 1 року. Наявність портфоліо з запущеними та працюючими Mini Apps (скидайте посилання в відповіді). Чистий, документований код. Умови роботи: Робота тільки через Безпечну Угоду (Сейф / Escrow) платформи. Оплата поетапна (розбиваємо проект на Спринт 1: Бекенд + БД, Спринт 2: Фронтенд WebApp, Спринт 3: Інтеграція платіжок і тести). Бюджет: Обговорюється з успішним кандидатом (вказуйте вашу вилку цін і терміни в відповіді)
