Обновить парсер

1. На scrapy фрейморку писати парсери сайтів, кі мають захист - дуже погана ідея = він часто "палиться" на відміну від реквесту простого
2. для цього сайту сама зміна проксі не допоможе, потрібно змінювати ще ряд інших параметрів, які ідуть в реквесті, ставити таймаути також

Oleksandr L. 19 March 2023

Не зважаючи на це воно працювало дуже довго та стабільно.
Перша версія цього парсеру біла зроблена на реквестах, та вона не давала навіть половину тієї швидкості, яка потрібна, незалежно від кількості проксі та рандомізаціі відбитків браузеру(user agent, headers та інших)

Ось тому це одна з причин чому скрапі фреймворк банять часто . Бо швидко працює і має свій скрапівсткий відбиток. Його сайти навчились ловити. А от на реквестах можна швидше навіть зробити запити по часу і стабільніше . В паралельних запасках скріптів 

Oleksandr L. 19 March 2023

Іване, я завжди дуже ціную Ваші коментарі на усіх моїх проектах, але от щодо виконання ніколи не доходить. Так що, виконаєте проект?

Дякую, Олександр)))

Давайте хоч гляну що треба парсити, які блоки від сайту є )

Там Cloudflare

Складність полягає в наступному

1. Більш за все потрібен буде реальний браузер. Тобто Selenium Webdriver + браузер

2. Підібрати проксі під Cloudflare - нетривіальна задача. Також проксі швидко попадають в бан.

Я вважаю мало кто зможе гарантувати стабільну роботу парсера протягом тривалого часу.

Oleksandr L. 19 March 2023

Це все зрозуміло
Якщо через браузер буде працювати на Лінукс сервері, то ОК
Гарантія хоча б на місяць влаштує

Дайте будь ласка, список урлів , спробую пройтись по них і дістати сорси повні сторінки. Якраз клауд фрей можу парсити селеніумом і реквестами. І тут діло не в спец проксі . Підійдкть будь які швидкі проксі типу v4 

я зробив - в мене немає блоку
response.text:

{"888837996198":{"status":"no_offer","price":null,"reference_price":null,"reference_price_date":null,"currency":"eur","demand_rating":null,"warehouse_status":null,"product":{"ean":"0888837996198","type":"dvd","title":"The Loft","description":"Film / DVD von LEONINE\nLEONINE. 19.06.2015.","image_url":"https://images.momox.de/media/ecd71bd2316a4014725b1c937e0c47bf7bbbcaf0_de_thumbnail.jpg","amazon_url":"https://amazon.de/gp/product/B00QA1I65O?tag=momox-21"}}}

response.status_code:

200