Фриланс проекты › Нужно спарсить интернет магазин
Нужно спарсить интернет магазин
истекло время актуальности
Нужно спарсить сложный интернет магазин. Запросы и код обфусцирован, сайт нужно открывать многопоточно в puppeteer или selenium. Парсить нужно все категории товаров, подкатегории, таблицу со списком товаров, зайти в каждый товар, спарсить картинку, описание, название. Парсер должен быть написан на Node и TypeScript, другие варианты не рассматриваем. Запуск и остановку парсера нужно сделать на html, чтобы можно было управлять из браузера, а не через консоль. Парсить нужно тысячи товаров каждые 1-5 секунд, обновляться всё должно в реальном времени.
Весь код должен быть покрыт тестами на Mocha+Chai.
Сборка проекта должна быть сделана с помощью Webpack.
-
10 дней299 000 ₴
Андрей Логащук 
230В принципе, если потратится на достаточно мощный комп, то это вполне посильная задача.
-
179 дней333 ₴
Иван Якушенко 
389 3 0Напишите в ЛС этот "сложный интернет магазин", после ознакомления смогу сделать конкретное предложение.
-
ставка скрыта фрилансером
-
3 дня1 500 ₴
Pavel Voloshyn 
195 1Добрый день.
Реализую на хорошем браузерном решении ,не то что извращения которые тербуют немеренно ресурсов.Прога получит данные и поифг что код одусфицирован .если его видно человеку программа тоже спарсит его по хтмл тегам . Это один из лучших софтов,решений для вашей задачи.так же софт работает через прокси ,если это нужно,так же программа может работать многопоточно.
Программа(проект) передается Вам с открытым исходным кодом,можете использовать в дальнейшем,если понадобится.
Так же включен месяц бесплатной техподдержки.
Бюджет проект обсуждаемый.
Если у Вас есть какие-либо вопросы-задавайте
Связь со мной:
telegram businessforpeoples
Ровно | 4 декабря в 21:59 | -
Вам треба дуже багато оперативки, і дуже багато ядер, якщо ви хочети парсити за допомогою Selenium, на такій швидкості.
-
Так вам нужен не парсинг, а ПАРСЕР. Изменить название проекта, не вводите в заблуждение фрилансеров.
-
Виктор Семенов
— заказчик проекта
Я думаю это не принципиально.
-
Запросы и код обфусцирован
Это вы так сказали? Как по-вашему тогда клиент (сайт) эти запросы читает и рендерит в html? Что бы нормально работать с несколькими инстансами selenium нужен не многопоток, а многопроцессорность, ибо вы запустив пару инстансов упретесь в потолок производительности ядра, параллельные вычисления на node - боль, никто такими костылями даже за вменяемые деньги не будет. Найдите нормального программиста, который не будет вам рассказывать сказки про обфусцированные запросы и городить ерунду про многопоточный node и selenium.
С уважением.
-
Виктор Семенов
— заказчик проекта
Скажите что Вы можете предложить?
В принципе сервера не проблема, купим столько сколько нужно
-
Могу сделать ставку, напишите мне в ЛС сайт, я посмотрю и тогда что-то предложу. Я несколько лет занимаюсь парсерами и сбором данных и видал все эти "обфусцированные запросы". Работаю на Python/C#. Если возьмусь за работу то никаких модных словечек в коде типа mocha, chai, webpack и прочее вы не получите, но вы получите результат.
-
А это вообще возможно - Парсить нужно тысячи товаров каждые 1-5 секунд ?
Даже однократно это будет за гранью, а постоянно - это как вам видится?
-
щось подібне на дос атаку)
-
Про параллельные вычисления не слыхали?
-
А толку тут від них(це ті самі потоки по суті)?
-
Потоки - это одна из разновидностей параллельных вычислений.
Что значит какой толк? Берешь 1000 ссылок и одновременно их парсишь, при наличии соответствующего интернет-канала.
-
Попробуй відкрити тисячу вкладок в браузері, і подивися на диспечер задач
-
з сайтами
-
А браузер тут каким боком?
-
Ну якщо ти не через браузер будеш парсити то ніяких
Прямими запросами до сервера це вприниципі реально
-
ну це вже досом вприниципі можна важати)1000 запросів в секунду чи даже 5
-
Я имел ввиду - как сервер это отдаст и как поведёт себя серверный анализатор ботов?
-
Pavel Voloshyn
(общение в форумах ограничено до 18 декабря)
на зеннопостере такое потянет на 5 серверах .на каждом по 200 браузерных потоков.сам делаю масштабные проекты.протестировано уже многократно и это получше будет чем извращение с селениумом.на 1 инстанс идет 100-100 мбайт памяти оперативной.проц грузит 80% при 200 потоках браузера
-
И сервер это не блокирует, 1000 потоков ? И владелец согласен на такой бессмысленный трафик? Вы кого парсите - деревенский сельсовет?
-
И как сервер их заблокирует, если использовать прокси?
-
Что за чушь. Использовать 5 каких-то серверов для всего-то 1000 потоков. Про асинхронный код и корутины не слыхали? И это ты называешь "масштабными"?
-
Люди забийте на цей проект!
Скидав заказчик пару днів назад, приклад сайту який потрібно парсити, то цей сайт купляє дані в міжнародних компаній, і від того що ви будете парсити цей сайт , вони будуть мати не погані збитки(1 секунда == 1000 запросів).
Обратите внимание
Вы выбрали сотрудничество в проекте на свой страх и риск. Всего 20% проектов на сервисе публикуются с такой формой расчета, а успешно завершаются такие проекты в три раза реже по сравнению с проектами с предварительным резервированием оплаты через Сейф.
Не подвергайте себя ненужному риску остаться без заслуженной оплаты за выполненную работу — предложите заказчику безопасную работу через Сейф!
