Парсеры на node.js
Есть специалисты кто парсил на node.js есть мысль написать серию ботов, парсеров на этой технологии, нужны консультации от вас и если все устроит то будет много работы, да большой период.
Что бы человек понимал как работать с DOM (jsdom или другими аналогами если они есть).
Работа с букмекерскими конторами.
Selenium не подойдет, обсуждать даже не буду.
пишите в телеграм @lissoft быстрее будет
-
1 day56 USD
36 1 day56 USD
Selenium не подойдет - потому что подобные сайты с этим хорошо борятся
1. Его легко определить (если не тюнить)
2. DOM будет регулярно меняться - и это значит постоянно дорабатывать и монитоирть в ручном режиме
3. Рано или подздно добавят "динамический" DOM при котором поиск по xpath будет постоянно лажать.
Node JS подойдет, но только в качестве прототипа, дальше вы с ним серьезно увязните.
1. Node асинхронный и для других задач (только фанатики делают автомитизацию на нем)
2. Пункты 2 и 3 из предыдущего варианта
…
Вот реальная связка для вашей задачи
1. Java
2. Java Robot - пакет который эмулирует работу мышки и клавиатуры
3. Google Cloud visual API - стоит копейки, но все зависит от объемов
4. Luminati (luminati.io) или smartproxy чтобы обойти блокировку по IP
5. Firebase для хранения конфигурации и масштабирования
При таком подходе
1. Определить что это БОТ будет не возможно
2. Изменения в DOM дереве по-барабану - а значит стабильная работа
3. Масштабирование - легко, оператор менят данные в Firebase и они автоматически раскидываются по всем машинам.
У меня есть наработки которые уже работают по этому принципу, готов обсудить вариант сотрудничества.
Стоимость указана за 45 минут консультации.
-
3 days23 USD
943 53 2 1 3 days23 USD
Имею опыт работы с парсерами на Node.js (см. отзывы и портфолио)
Телеграм @Ivan_Lisp
Current freelance projects in the category Javascript and Typescript
Online clothing storeNeed a developer for an online clothing store Looking for an experienced developer to create a full-fledged online clothing store with a drop model of sales. What needs to be done: 6 pages: home, product, cart, checkout, account, admin panel Login via Google account Cart and… HTML & CSS, Javascript and Typescript ∙ 1 day 20 hours back ∙ 85 proposals |
Full-stack development — Amazon PPC Dashboard (Stage 1)Need a full-stack developer with experience working with Amazon API to implement Stage 1 of the internal PPC dashboard. The project is real, the data is live, everything is ready to start. Frontend prototype (5 pages, React + TypeScript): WHAT IS ALREADY READY — Frontend… Javascript and Typescript, Web Programming ∙ 4 days 7 hours back ∙ 31 proposals |
Development of a photo book and photo frame constructor websiteProject Goal A modern website needs to be developed for ordering photo books, photo frames, and other personalized photo products. The main task of the project is to provide the client with the ability to independently create a ready-made layout of the product directly on the… Javascript and Typescript, Web Programming ∙ 5 days 23 hours back ∙ 98 proposals |
Team for a custom marketplace of funeral services.We are looking for a team to launch and develop a custom national marketplace for funeral services. Right away: we are not looking for solo freelancers, juniors, or "website builders." We need a strong product team at the middle+/senior level with real cases in… Javascript and Typescript, Web Programming ∙ 6 days 18 hours back ∙ 27 proposals |
Improvement of the existing Next.js/Supabase project: offers, CRM, analytics, AI chatThere is an active project WatchGenius — a luxury watch analytics platform with a catalog of models, price analytics, external offers, application forms, and an AI chat. The project has already been partially developed. We need not a website from scratch, but an experienced… Javascript and Typescript, Web Programming ∙ 8 days 19 hours back ∙ 55 proposals |
Kyiv