Нужно спарсить интернет магазин
Нужно спарсить сложный интернет магазин. Запросы и код обфусцирован, сайт нужно открывать многопоточно в puppeteer или selenium. Парсить нужно все категории товаров, подкатегории, таблицу со списком товаров, зайти в каждый товар, спарсить картинку, описание, название. Парсер должен быть написан на Node и TypeScript, другие варианты не рассматриваем. Запуск и остановку парсера нужно сделать на html, чтобы можно было управлять из браузера, а не через консоль. Парсить нужно тысячи товаров каждые 1-5 секунд, обновляться всё должно в реальном времени.
Весь код должен быть покрыт тестами на Mocha+Chai.
Сборка проекта должна быть сделана с помощью Webpack.
-
Вам треба дуже багато оперативки, і дуже багато ядер, якщо ви хочети парсити за допомогою Selenium, на такій швидкості.
-
Так вам нужен не парсинг, а ПАРСЕР. Изменить название проекта, не вводите в заблуждение фрилансеров.
-
Я думаю это не принципиально.
-
Запросы и код обфусцирован
Это вы так сказали? Как по-вашему тогда клиент (сайт) эти запросы читает и рендерит в html? Что бы нормально работать с несколькими инстансами selenium нужен не многопоток, а многопроцессорность, ибо вы запустив пару инстансов упретесь в потолок производительности ядра, параллельные вычисления на node - боль, никто такими костылями даже за вменяемые деньги не будет. Найдите нормального программиста, который не будет вам рассказывать сказки про обфусцированные запросы и городить ерунду про многопоточный node и selenium.
С уважением.
-
Скажите что Вы можете предложить?
В принципе сервера не проблема, купим столько сколько нужно
-
Могу сделать ставку, напишите мне в ЛС сайт, я посмотрю и тогда что-то предложу. Я несколько лет занимаюсь парсерами и сбором данных и видал все эти "обфусцированные запросы". Работаю на Python/C#. Если возьмусь за работу то никаких модных словечек в коде типа mocha, chai, webpack и прочее вы не получите, но вы получите результат.
-
А это вообще возможно - Парсить нужно тысячи товаров каждые 1-5 секунд ?
Даже однократно это будет за гранью, а постоянно - это как вам видится?
-
щось подібне на дос атаку)
-
Про параллельные вычисления не слыхали?
-
А толку тут від них(це ті самі потоки по суті)?
-
Потоки - это одна из разновидностей параллельных вычислений.
Что значит какой толк? Берешь 1000 ссылок и одновременно их парсишь, при наличии соответствующего интернет-канала.
-
Попробуй відкрити тисячу вкладок в браузері, і подивися на диспечер задач
-
з сайтами
-
А браузер тут каким боком?
-
на зеннопостере такое потянет на 5 серверах .на каждом по 200 браузерных потоков.сам делаю масштабные проекты.протестировано уже многократно и это получше будет чем извращение с селениумом.на 1 инстанс идет 100-100 мбайт памяти оперативной.проц грузит 80% при 200 потоках браузера
-
И сервер это не блокирует, 1000 потоков ? И владелец согласен на такой бессмысленный трафик? Вы кого парсите - деревенский сельсовет?
-
И как сервер их заблокирует, если использовать прокси?
-
Что за чушь. Использовать 5 каких-то серверов для всего-то 1000 потоков. Про асинхронный код и корутины не слыхали? И это ты называешь "масштабными"?
-
Люди забийте на цей проект!
Скидав заказчик пару днів назад, приклад сайту який потрібно парсити, то цей сайт купляє дані в міжнародних компаній, і від того що ви будете парсити цей сайт , вони будуть мати не погані збитки(1 секунда == 1000 запросів).
-
Current freelance projects in the category Data Parsing
Scrape Telegram groups
16 USD
Need to scrape telegrams from groups and sort them into folders. Public and private groups are required. Everything that exists in Poland Data Parsing, Bot Development ∙ 3 hours 6 minutes back ∙ 5 proposals |
Research of the premium segment in KyivResearch of the premium segment in Kyiv It is necessary to search for open public communication channels with representatives of the premium segment in Kyiv. What needs to be collected: openly published email or phone number for contact, if it is posted in a public source. Who… Data Parsing, Information Gathering ∙ 13 hours 10 minutes back ∙ 11 proposals |
A specialist in Telegram promotion is required.
29 USD
Tasks: invite real users from the username database to new chats and send messages to the target database. Only quality traffic and work with a live audience are of interest — performers using bots, fake engagement, or low-quality methods are requested NOT TO DISTURB. Work… Data Parsing, Social Media Marketing (SMM) ∙ 3 days 7 hours back ∙ 8 proposals |
Collection of B2B database of companies in Germany
40 USD
Goal: To obtain a list of potential employers (clients) for B2B mailing. Region: Munich (München) + radius of 50 km. Required niches: Construction companies (Bauunternehmen) Food enterprises (Lebensmittelhersteller, meat processing plants, bakeries) Logistics and… Data Parsing, Lead Generation & Sales ∙ 3 days 9 hours back ∙ 34 proposals |
Consultation on parsing Instagram account subscribersHello. It is necessary to conduct a preliminary assessment of the feasibility of the following task. I have a list of Instagram accounts. The goal is to obtain contact information (primarily email addresses) of users who follow these accounts. Previously, I encountered companies… Data Parsing ∙ 7 days 2 hours back ∙ 13 proposals |
Bykovka