Парсер Python3
Здравствуйте.
Есть парсеры сайтов rebuy.de и momox.de используя АПИ, написанные на Python3 и работающие в докере под Убунту.
Проблема есть с сайтом rebuy.de - раз в неделю сайт запускает анализ всех запросов и видит, что была загружена только информация с api, без загрузок html,css,js, картинок и всю подсеть прокси банит целиком.
Пробовали разные прокси, даже вращающиеся с пулами IP 5 миллионов - все равно банят.
Как вариант решения вышеописанной проблемы, может быть уйти от АПИ(так как используя АПИ скрыть что-то нереально) и использовать headless браузеры для парсинга.
Или любую другую технологию/метод - открыт к обсуждению и предложениям!
Главная цель - достичь скорости стабильного парсинга 400-500 товаров/минута на обоих сайтах при вменяемой стоимости прокси - не более 100$/месяц.
Сейчас используются статичные прокси(10 потоков), парсит медленно, но не банит. Когда ставлю выше 10 потоков - банит все сразу с конце недели.
-
3 days56 USD
786 27 2 2 3 days56 USD
Доброго дня. Python є основною моєю мовою програмування, тому знаю його досконало (реалізую саме на ньому), маю досвід написання парсерів та роботою з БД, капчами і тд. Зроблю парсер за 15 робочих годин. Реалізую за допомогою Selenium headless.
Також працюю з : Django, Kivy, Pygt5, PySide, Tkinter, Selenium і тд. Пишіть в ЛС, є приклад роботи у портфоліо. Потрібно уточнити декілька моменів в ЛС. Буду радий з вами співпрацювати)
-
3 days23 USD
115 34 4 2 3 days23 USD
Здравствуйте.
Имею большой опыт работы с selenium.
Пишите - обсудим детали
-
500 товаров в минуту через браузер нереально как по мне (делал один парсер тоже через headless браузер, в среднем секунда-две на страницу), если только организовывать многопоток с разных ip.
Сколько запросов идет с одного ip у вас?
-
Я не настаиваю на браузере, думал об этом, как вариант.
Сейчас с 50 IP парсинг в 100 потоков дает желаемую скорость, но работает это только неделю(4-7 дней), потом сайт банит все IP.
-
50 постоянно работающих ip целую неделю? Я бы такого не советовал делать)
Сделайте лучше пул из ip побольше, разделите его на 3 и дергайте их на запросы рандомно в разное время суток, чтобы сайт не увидел странного поведения. Я еще добавлял рандомный интервал между запросами с одного ip. И все это через асинхронные запросы, пока одни ip спят, другие работают и тд. Никакого многопотока не требовалось -
Пробовали работать с вращающимися прокси - сайт банит целую подсеть, и так 5 миоллионов IP в пуле не проработали даже 2х недель.
Мысль с отдыхает/работает интересная, только вот нужно будет очень много таких IP для достижения скорости в 500 товаров/минута, не выйдет ли это за мой бюджет?
-
Current freelance projects in the category Data Parsing
Need a parser for the online store https://www.lcsc.com/It is necessary to regularly (once a month, or upon script launch) obtain up-to-date information about the products available in the store. https://www.lcsc.com/ from the catalog of all sections.… Data Parsing ∙ 40 minutes back ∙ 14 proposals |
OpenCart — rental catalog of special equipment
135 USD
OpenCart — Equipment Rental Catalog Need to launch an equipment rental catalog on OpenCart. Theme: excavators cherry pickers forklifts generators cranes scaffolding other construction equipment. It is preferable that you already have a ready-made template or developments… Web Programming, Data Parsing ∙ 17 hours 6 minutes back ∙ 43 proposals |
Transfer the program - the server where the program was located has crashed (officially permitted parsing of government data)
47 USD
Hello! My client has encountered the case described below. We need help transferring to a new server and testing the program. It would be better to have a programmer who understands parsing. Software & Server Configuration, Data Parsing ∙ 20 hours 59 minutes back ∙ 25 proposals |
Parsing and classification of a large array of imagesIt is necessary to implement a project for collecting and structuring a large array of architectural images from open web sources.The task includes: automated collection of images; uploading files in the highest available quality; classification of images by categories:… Python, Data Parsing ∙ 21 hours 27 minutes back ∙ 30 proposals |
Parsing Resumes from Work.ua and Rabota.uaIt is necessary to download a database of current resumes from Work.ua and Rabota.ua in Excel format. It is preferable that the Excel file contains the following columns: Name Phone number (in the format +380...) Email Position (profession) Positions considered Category of… Information Gathering, Data Parsing ∙ 1 day 21 hours back ∙ 18 proposals |
Kharkiv