Парсеры на node.js
Есть специалисты кто парсил на node.js есть мысль написать серию ботов, парсеров на этой технологии, нужны консультации от вас и если все устроит то будет много работы, да большой период.
Что бы человек понимал как работать с DOM (jsdom или другими аналогами если они есть).
Работа с букмекерскими конторами.
Selenium не подойдет, обсуждать даже не буду.
пишите в телеграм @lissoft быстрее будет
-
36 Selenium не подойдет - потому что подобные сайты с этим хорошо борятся
1. Его легко определить (если не тюнить)
2. DOM будет регулярно меняться - и это значит постоянно дорабатывать и монитоирть в ручном режиме
3. Рано или подздно добавят "динамический" DOM при котором поиск по xpath будет постоянно лажать.
Node JS подойдет, но только в качестве прототипа, дальше вы с ним серьезно увязните.
1. Node асинхронный и для других задач (только фанатики делают автомитизацию на нем)
2. Пункты 2 и 3 из предыдущего варианта
…
Вот реальная связка для вашей задачи
1. Java
2. Java Robot - пакет который эмулирует работу мышки и клавиатуры
3. Google Cloud visual API - стоит копейки, но все зависит от объемов
4. Luminati (luminati.io) или smartproxy чтобы обойти блокировку по IP
5. Firebase для хранения конфигурации и масштабирования
При таком подходе
1. Определить что это БОТ будет не возможно
2. Изменения в DOM дереве по-барабану - а значит стабильная работа
3. Масштабирование - легко, оператор менят данные в Firebase и они автоматически раскидываются по всем машинам.
У меня есть наработки которые уже работают по этому принципу, готов обсудить вариант сотрудничества.
Стоимость указана за 45 минут консультации.
-
943 53 2 1 Имею опыт работы с парсерами на Node.js (см. отзывы и портфолио)
Телеграм @Ivan_Lisp
Aktualne zlecenia dla freelancerów w kategorii Javascript & Typescript
Sklep internetowy z odzieżąPotrzebny programista do sklepu internetowego z odzieżą Szukam doświadczonego programisty do stworzenia pełnoprawnego sklepu internetowego z odzieżą z modelem sprzedaży dropshipping. Co należy zrobić: 6 stron: strona główna, produkt, koszyk, zamówienie, konto, panel… Układ HTML i CSS, Javascript & Typescript ∙ 4 godziny 9 minut temu ∙ 51 ofert |
Full-stack rozwój — Amazon PPC Dashboard (Etap 1)Potrzebny programista full-stack z doświadczeniem w pracy z Amazon API do realizacji Etapu 1 wewnętrznego dashboardu PPC. Projekt realny, dane żywe, wszystko gotowe do startu. Prototyp frontendu (5 stron, React + TypeScript): CO JUŻ GOTOWE — Prototyp frontendu na React 18 +… Javascript & Typescript, Programowanie stron internetowych ∙ 2 dni 15 godzin temu ∙ 28 ofert |
Opracowanie strony internetowej do tworzenia fotoksiążek i ram fotowychCel projektuNależy opracować nowoczesną stronę internetową do zamawiania fotoksiążek, ram fotowych i innych spersonalizowanych produktów fotograficznych.Głównym celem projektu jest umożliwienie klientowi samodzielnego stworzenia gotowego projektu produktu bez udziału projektanta… Javascript & Typescript, Programowanie stron internetowych ∙ 4 dni 7 godzin temu ∙ 96 ofert |
Zespół do samodzielnie stworzonej platformy rynkowej usług pogrzebowych.Poszukujemy zespołu do uruchomienia i rozwoju autorskiej krajowej platformy rynkowej usług pogrzebowych. Od razu: nie szukamy pojedynczych osób, juniorów ani "zbieraczy stron". Potrzebny jest silny zespół produktowy na poziomie middle+/senior z rzeczywistymi przypadkami… Javascript & Typescript, Programowanie stron internetowych ∙ 5 dni 1 godzina temu ∙ 27 ofert |
Dopracowanie istniejącego projektu Next.js/Supabase: oferty, CRM, analityka, czat AIIstnieje działający projekt WatchGenius — platforma analityczna luksusowych zegarków z katalogiem modeli, analizą cen, zewnętrznymi ofertami, formularzami zgłoszeniowymi i czatem AI. Projekt został już częściowo opracowany. Potrzebny jest doświadczony programista full-stack,… Javascript & Typescript, Programowanie stron internetowych ∙ 7 dni 3 godziny temu ∙ 55 ofert |