Нужно спарсить интернет магазин
Нужно спарсить сложный интернет магазин. Запросы и код обфусцирован, сайт нужно открывать многопоточно в puppeteer или selenium. Парсить нужно все категории товаров, подкатегории, таблицу со списком товаров, зайти в каждый товар, спарсить картинку, описание, название. Парсер должен быть написан на Node и TypeScript, другие варианты не рассматриваем. Запуск и остановку парсера нужно сделать на html, чтобы можно было управлять из браузера, а не через консоль. Парсить нужно тысячи товаров каждые 1-5 секунд, обновляться всё должно в реальном времени.
Весь код должен быть покрыт тестами на Mocha+Chai.
Сборка проекта должна быть сделана с помощью Webpack.
-
Вам треба дуже багато оперативки, і дуже багато ядер, якщо ви хочети парсити за допомогою Selenium, на такій швидкості.
-
Так вам нужен не парсинг, а ПАРСЕР. Изменить название проекта, не вводите в заблуждение фрилансеров.
-
Я думаю это не принципиально.
-
Запросы и код обфусцирован
Это вы так сказали? Как по-вашему тогда клиент (сайт) эти запросы читает и рендерит в html? Что бы нормально работать с несколькими инстансами selenium нужен не многопоток, а многопроцессорность, ибо вы запустив пару инстансов упретесь в потолок производительности ядра, параллельные вычисления на node - боль, никто такими костылями даже за вменяемые деньги не будет. Найдите нормального программиста, который не будет вам рассказывать сказки про обфусцированные запросы и городить ерунду про многопоточный node и selenium.
С уважением.
-
Скажите что Вы можете предложить?
В принципе сервера не проблема, купим столько сколько нужно
-
Могу сделать ставку, напишите мне в ЛС сайт, я посмотрю и тогда что-то предложу. Я несколько лет занимаюсь парсерами и сбором данных и видал все эти "обфусцированные запросы". Работаю на Python/C#. Если возьмусь за работу то никаких модных словечек в коде типа mocha, chai, webpack и прочее вы не получите, но вы получите результат.
-
А это вообще возможно - Парсить нужно тысячи товаров каждые 1-5 секунд ?
Даже однократно это будет за гранью, а постоянно - это как вам видится?
-
щось подібне на дос атаку)
-
Про параллельные вычисления не слыхали?
-
А толку тут від них(це ті самі потоки по суті)?
-
Потоки - это одна из разновидностей параллельных вычислений.
Что значит какой толк? Берешь 1000 ссылок и одновременно их парсишь, при наличии соответствующего интернет-канала.
-
Попробуй відкрити тисячу вкладок в браузері, і подивися на диспечер задач
-
з сайтами
-
А браузер тут каким боком?
-
на зеннопостере такое потянет на 5 серверах .на каждом по 200 браузерных потоков.сам делаю масштабные проекты.протестировано уже многократно и это получше будет чем извращение с селениумом.на 1 инстанс идет 100-100 мбайт памяти оперативной.проц грузит 80% при 200 потоках браузера
-
И сервер это не блокирует, 1000 потоков ? И владелец согласен на такой бессмысленный трафик? Вы кого парсите - деревенский сельсовет?
-
И как сервер их заблокирует, если использовать прокси?
-
Что за чушь. Использовать 5 каких-то серверов для всего-то 1000 потоков. Про асинхронный код и корутины не слыхали? И это ты называешь "масштабными"?
-
Люди забийте на цей проект!
Скидав заказчик пару днів назад, приклад сайту який потрібно парсити, то цей сайт купляє дані в міжнародних компаній, і від того що ви будете парсити цей сайт , вони будуть мати не погані збитки(1 секунда == 1000 запросів).
-
Актуальные фриланс-проекты в категории Парсинг данных
Консультация по парсингу подписчиков Instagram-аккаунтовЗдравствуйте. Необходимо провести предварительную оценку возможности выполнения следующей задачи. У меня есть список Instagram-аккаунтов. Цель — получить контактные данные (в первую очередь email-адреса) пользователей, которые подписаны на эти аккаунты. Ранее мне встречались… Парсинг данных ∙ 3 дня 8 часов назад ∙ 12 ставок |
Нужен специалист для поиска контактов ЛПР по УкраинеНеобходимо собрать базу (или готовую базу) контактов лиц, принимающих решения (ЛПР), в компаниях Украины. Поиск и сбор информации, Парсинг данных ∙ 3 дня 13 часов назад ∙ 17 ставок |
Необходимо спарсить данные из Linkedin
Необходимо спарсить данные с Linkedin по нашему списку. Для каждой записи нужно найти и собрать доступные данные, если такие есть на Linkedin профиле, включая фотографию профиля в соцсети Linkedin, email-адрес, ссылки на социальные сети, вебсайт компании, номер телефона. Все… Парсинг данных ∙ 3 дня 18 часов назад ∙ 27 ставок |
Парсинг и классификация данных
Ищем разработчика для реализации системы сбора и структурирования данных из открытых источников. У нас есть база владельцев малого бизнеса в США, которая содержит имя человека, название компании, адрес и штат. Необходимо построить процесс обогащения этих записей дополнительной… Веб-программирование, Парсинг данных ∙ 3 дня 19 часов назад ∙ 41 ставка |
Свитлагата
750 UAH
Необходимо импортировать 1819 товаров из XML/YML-фида Prom.ua в OpenCart 3. Есть готовый XML-файл, который содержит названия товаров, описания, цены, фотографии, характеристики, производителей и категории. Необходимо: импортировать все товары в OpenCart 3; создать и… CMS, Парсинг данных ∙ 4 дня 22 часа назад ∙ 34 ставки |
Быковка