Здравствуйте.
Есть парсеры сайтов rebuy.de и momox.de работающие синхронно, написанные на Python3 в докере под Убунту 20.04. Данные сохраняются в MySQL.
Проблема есть с сайтом rebuy.de - банит прокси через 3-5 дней.
При снижении скорости банит меньше, но тогда сокрость ниже требуемой.
Главная цель - достичь скорости стабильного парсинга 400-500 товаров/минута на обоих сайтах при вменяемой стоимости прокси - не более 100$/месяц(с сайтом momox.de это достаточно легко).
Как вариант, рассматриваю переделку парсера ребай под работу через браузер для избежания бана прокси или любой другой действенный способ.
Код отправлю в личном сообщении, тем, кто заинтересуется.
Budget: 2000 UAH Deadline: 5 days
Готов попробовать реализовать rebuy.de парсер, под windows в программе ехе, поклацал , обошел первичную защиту окна проверку браузера на запросах. , напишите что нужно собирать, что бы я запустил на том этапе что есть у меня и проверил сбор.
Budget: 5000 UAH Deadline: 5 days
Доброго дня. Python є основною моєю мовою програмування, тому знаю його досконало (реалізую саме на ньому), маю досвід написання парсерів та роботою з БД, капчами і тд. Зроблю парсер за 15 робочих годин. Реалізую за допомогою Selenium headless.
Також працюю з : Django, Kivy, Pygt5, PySide, Tkinter, Selenium і тд. Пишіть в ЛС, є приклад роботи у портфоліо. Потрібно уточнити декілька моменів в ЛС. Буду радий з вами співпрацювати)
Не боїтеся що власник сайту, може рано чи пізно заяву кинути?😁
11 November 2020
Ваш вопрос не относится к задаче проекта. Задавайте вопросы по существу.
Не питаня по проекту, бомбити 5 запросів на секунду сайт, на постояні основі це не дуже добре
11 November 2020
Это вопрос этики. Сайт публичный, к нему имеют доступ миллионы людей. В процентном соотношении к общей нагрузке мои запросы = менее 1%. Сайт рассчитан на эту нагрузку.
Законодательные и авторские ограничения, которые установлены правилами сайта соблюдены в полной мере.
Форум проекта рассчитан на обсуждение по его выполнению, а не дискуссии о морали и правилах.
Этими вопросами Вы сами же и нарушаете правила Фрилансхант.
Если Вы такой блюститель правил, начните с себя и соблюдайте их сами прежде всего.
Прочтите информацию перейдя по ссылке на ПРАВИЛА на форуме проекта:
"Ставки в форуме проекта запрещены. Также не забудьте ознакомиться с правилами общения. ".
Ви не думали чого вас банять через пару днів , а не зразу.Якщо припустити що там є якась защіта яку ви не обійшли, то сайт має забанити через хвилин 10-30, а тут 4 дня.Може там, злющий власник сайту сидить?І 5 запросів на секунду протягом місяця(року), це не так мало, під такі запроси, можна виділяти окремий сервер😁
Законодательные и авторские ограничения, которые установлены правилами сайта соблюдены в полной мере.
Там такі написано 5 запросів на секунду можна, це не DOS,це просто ми вас парсим😁 рік)
У меня вопрос довольно простой. Я так понимаю вас банят раз в 3-4 дня, из-за того что вы парсите весь сайт? Я правильно понимаю?
Я посмотрел на сайт, и хотелось бы уточнить, какую именно информацию должен грабить парсер, и насколько часто это информация обновляется?
11 November 2020
Банят, раз в 3-4 дня.
Парсю по категориям.
Информацию о товарах: титл, дескпришн, цены.
Обновляется минимум раз в сутки, а то и чаще, но не по всем товарам.
можно ли не проваливаясь в карточку товара определить изменилась ли информация или нет? Как часто нужно парсить этот сайт.
Сейчас основная проблема в том, что они поставили защиту, как минимум для браузера, с задержкой открытия страницы. Правда с VPN из под немецкого ip я не пробовал заходит, но сам факт защиты есть.
11 November 2020
можно ли не проваливаясь в карточку товара определить изменилась ли информация или нет?
этого не знаю
Как часто нужно парсить этот сайт.
постоянно
Сейчас основная проблема в том, что они поставили защиту, как минимум для браузера, с задержкой открытия страницы. Правда с VPN из под немецкого ip я не пробовал заходит, но сам факт защиты есть.
с IP Европа/США/Англия открывается без проверки
с США быстрее всего
постоянно
я имею ввиду переодичность. Раз в час, раз в сутки, раз в двое суток.
этого не знаю
Здесь вопрос простой. Там каждый товар имеет в url свой уникальный id из их базы данных. По нему можно идентифицировать товар. меня интересует, насколько часто меняется информация по конкретному товару, не считая цены, что бы понимать, возможно ли вообще обойти бан или ограничения за счет, уменьшения количества запросов. к их серверу.
с IP Европа/США/Англия открывается без проверки
Проверка все равно есть
это с американского ip, проверка появляется меньше, но примерно каждый 4 запрос сделанный в течении 1-2 секунд, выдает это. Так что вам вряд ли удастся не снижая количество запросов, обойти защиту эмуляцией браузера, или не договорившись с владельцем об открытой выгрузке.
11 November 2020
я имею ввиду переодичность. Раз в час, раз в сутки, раз в двое суток.
выполняется непрерывно, там по 4м интересующим меня категориям в сумме около 6 миллионов товаров, поэтому, как только спарсили все, парсим заново. практически сразу
Здесь вопрос простой. Там каждый товар имеет в url свой уникальный id из их базы данных. По нему можно идентифицировать товар. меня интересует, насколько часто меняется информация по конкретному товару, не считая цены, что бы понимать, возможно ли вообще обойти бан или ограничения за счет, уменьшения количества запросов. к их серверу.
информация о товаре не считая цены обновляется редко,но новые товары добавляются каждый день, хоть и немного(около 1000)
это с американского ip, проверка появляется меньше, но примерно каждый 4 запрос сделанный в течении 1-2 секунд, выдает это. Так что вам вряд ли удастся не снижая количество запросов, обойти защиту эмуляцией браузера, или не договорившись с владельцем об открытой выгрузке.
может быть Ваш IP shared или недостаточно непрозрачный, либо они усилили защиту.
Кол-во запросов можно уменьшить, только покупая больше IP, вот нужно найти решение учитывая месячный бюджет на прокси и требуемую сокрость.
при парсинге запросами мы обращаемся напрямую к АПИ, оно у них открыто
пытались договориться с владельцем, но не удалось, сказали используйте как есть - use as is
тіпа власник, знає)цікаво😁 Наверно того там стільки защіти
https://www.rebuy.de/kaufen/suchen?q=s
нащо вам парсити всьой сайт, ось пошук беріть звідси ціну
11 November 2020
ну хоть одно сообщение по делу!
теоритически, замечание дельное, только кроме цен и титлов нужны еще описания товаров.
также, на сайте представлено 4 цены в зависимости от состояний товаров: новый, как новый, бу, плохой бу, которые не вижно по выдаче из поиска
Опис у вас є , вже по ідеї ви вже його раз парсили.
Ну це рішається, тим що ви вже його раз спарсили і знаєти в яких товарах так, і в ті товари треба заходити
11 November 2020
логично, ну так делайте ставку ;-)
11 November 2020
если не можете что-то добавить по решению задачи проекта - не засоряйте форум своими сообщения, пожалуйста.
Решения - це зменшення кількості запросів, за допомогою гібридного парсінга пошука і підкатегорій, і самих карточок, це має зменшити кількість запросів, ,відсотків так на 80
11 November 2020
ну, раз Вы знаете, что и как делать, почему не делаете ставку?
11 November 2020
ну, раз Вы знаете, что и как делать, почему не делаете ставку?
11 November 2020
ну, раз Вы знаете, что и как делать, почему не делаете ставку?
11 November 2020
ну, раз Вы знаете, что и как делать, почему не делаете ставку?
ну поперше там якась бешена защіта, цікава, обійти можна канешно, а по друге вмене немає зараз часу, вмене своїх проектів хватає) на місяць вперед
11 November 2020
ясно, т.е. Вы тут поболтать...
it is necessary to organize a way to collect newly created individual entrepreneurs and, if possible, limited liability companies. whether it's parsing or something else - you tell me what this method should be
Good morning,I will commission the creation of a stable and reliable solution for automatically monitoring prices and availability of products from a specific large Polish online store in the RTV/AGD sector.Project goal: The system must regularly check selected product links and, in case of a price change or availability status, send a notification (preferably via Telegram, Discord, or email – to be determined).Challenge: The store's website has very aggressive anti-bot systems (Akamai/Cloudflare). Ordinary scripts that fetch the page code are immediately detected and blocked. The solution must effectively bypass these protections, mask bot traffic, and operate stably over the long term, without constantly throwing "Access Denied" errors.What I expect from the contractor: Proposing a complete architecture and technology (I do not impose a programming language or specific tools). Delivering a ready-made solution that I can easily launch and manage. Suggestions regarding infrastructure (e.g., what proxies will be necessary for the system to operate smoothly).In response to the announcement, please briefly describe: What approach/technology do you propose to effectively and sustainably bypass the store's protections? How do you see the issue of sending notifications? What is the estimated cost of execution and time of completion?I invite you to submit your offers.
About the Company Trading company. We work with a product group of more than 2000 items across different categories.Current Situation Currently, the nomenclature is maintained in Google Sheets — data is consolidated by tabs (categories). Tab Structure: Product name Price groups: cost price, wholesale, retail Characteristics: weight, quantity per package, etc. Important: the number of columns varies for different product categories, as they have different characteristics.Why the Current Solution is Inadequate Google Sheets does not allow setting access rights at the level of individual columns. We need to: Grant users rights to view certain columns (for example, only cost prices) Grant rights to edit certain columns (for example, retail prices) While restricting access to other columns in the same tabWhat Needs to Be DoneMain Requirements Flexible Rights Management System Access at the level of individual columns (read/write) Assignment of rights by roles or users Management of rights without the involvement of programmers Support for Different Data Structures Different product categories have different sets of characteristics Adding new columns/characteristics without programming Independence from Developers Administration by internal staff Adding categories, columns, users — through the interface Integration with ERP Exporting current prices to our ERP system Export or automatic integration via API Data Analysis Using AI (preferably) Ability to analyze the entire nomenclature list Enrichment, verification, recommendations — if you have ideas, please describeExpected Result A working solution in which: The nomenclature is structured by categories with different sets of characteristics Column rights are flexibly configured (view/edit) Data is exported to ERP The team can manage the system independentlyWhat We Need from You When Responding Describe in general terms how you envision the solution: What tool/platform do you propose
Good evening, there is a task: you need to check the availability and relevance of the prices of products added to the website (the website is on the prom.ua platform) from the supplier's site 1-2 times a day. Can you calculate the price and how it will look?
Set up automatic daily updates of product availability on our website on prom.ua. We have a supplier who sends a price list of products in Excel format to our email every day. The items on our website and in the supplier's price list are the same. The values in the "stock" column are either out of stock, a number, or more than a box - these need to be updated on the site to either Ready for shipment or Out of stock. Items that are not in the supplier's price list should remain unchanged. Please propose a solution, timeline, and budget. Thank you in advance for your response, I look forward to collaborating with a specialist.
