Нужно спарсить интернет магазин

Вам треба дуже багато оперативки, і дуже багато ядер, якщо ви хочети парсити за допомогою Selenium, на такій швидкості.

Так вам нужен не парсинг, а ПАРСЕР. Изменить название проекта, не вводите в заблуждение фрилансеров.

Viktor Semenov 4 December 2019

Я думаю это не принципиально. 

Запросы и код обфусцирован

Это вы так сказали? Как по-вашему тогда клиент (сайт) эти запросы читает и рендерит в html? Что бы нормально работать с несколькими инстансами selenium нужен не многопоток, а многопроцессорность, ибо вы запустив пару инстансов упретесь в потолок производительности ядра, параллельные вычисления на node - боль, никто такими костылями даже за вменяемые деньги не будет. Найдите нормального программиста, который не будет вам рассказывать сказки про обфусцированные запросы и городить ерунду про многопоточный node и selenium.

С уважением.

Viktor Semenov 4 December 2019

Скажите что Вы можете предложить? 

В принципе сервера не проблема, купим столько сколько нужно

Могу сделать ставку, напишите мне в ЛС сайт, я посмотрю и тогда что-то предложу. Я несколько лет занимаюсь парсерами и сбором данных и видал все эти "обфусцированные запросы". Работаю на Python/C#. Если возьмусь за работу то никаких модных словечек в коде типа mocha, chai, webpack и прочее вы не получите, но вы получите результат.

А это вообще возможно - Парсить нужно тысячи товаров каждые 1-5 секунд  ?

Даже однократно это будет за гранью, а постоянно  - это как вам видится?

щось подібне на дос атаку)

Про параллельные вычисления не слыхали?

А толку тут від них(це ті самі потоки по суті)?

Потоки - это одна из разновидностей параллельных вычислений.

Что значит какой толк? Берешь 1000 ссылок и одновременно их парсишь, при наличии соответствующего интернет-канала.

Попробуй відкрити тисячу вкладок в браузері, і подивися на диспечер задач

з сайтами

А браузер тут каким боком?

Ну якщо ти не через браузер будеш парсити то ніяких

Прямими запросами до сервера це вприниципі реально

ну це вже досом вприниципі можна важати)1000 запросів в секунду чи даже 5

Я имел ввиду - как сервер это отдаст и как поведёт себя серверный анализатор ботов?

на зеннопостере такое потянет на 5 серверах .на каждом по 200 браузерных потоков.сам делаю масштабные проекты.протестировано уже многократно и это получше будет чем извращение с селениумом.на 1 инстанс идет 100-100 мбайт памяти оперативной.проц грузит 80%  при 200 потоках браузера

И сервер это не блокирует, 1000 потоков ? И владелец согласен на такой бессмысленный трафик? Вы кого парсите - деревенский сельсовет?

И как сервер их заблокирует, если использовать прокси?

Что за чушь. Использовать 5 каких-то серверов для всего-то 1000 потоков. Про асинхронный код и корутины не слыхали? И это ты называешь "масштабными"? 

Люди забийте на цей проект!

Скидав заказчик пару днів назад, приклад сайту який потрібно парсити, то цей сайт купляє дані в міжнародних компаній, і від того що ви будете парсити цей сайт , вони будуть мати не погані збитки(1 секунда == 1000 запросів).