Парсеры на node.js
Есть специалисты кто парсил на node.js есть мысль написать серию ботов, парсеров на этой технологии, нужны консультации от вас и если все устроит то будет много работы, да большой период.
Что бы человек понимал как работать с DOM (jsdom или другими аналогами если они есть).
Работа с букмекерскими конторами.
Selenium не подойдет, обсуждать даже не буду.
пишите в телеграм @lissoft быстрее будет
-
36 Selenium не подойдет - потому что подобные сайты с этим хорошо борятся
1. Его легко определить (если не тюнить)
2. DOM будет регулярно меняться - и это значит постоянно дорабатывать и монитоирть в ручном режиме
3. Рано или подздно добавят "динамический" DOM при котором поиск по xpath будет постоянно лажать.
Node JS подойдет, но только в качестве прототипа, дальше вы с ним серьезно увязните.
1. Node асинхронный и для других задач (только фанатики делают автомитизацию на нем)
2. Пункты 2 и 3 из предыдущего варианта
…
Вот реальная связка для вашей задачи
1. Java
2. Java Robot - пакет который эмулирует работу мышки и клавиатуры
3. Google Cloud visual API - стоит копейки, но все зависит от объемов
4. Luminati (luminati.io) или smartproxy чтобы обойти блокировку по IP
5. Firebase для хранения конфигурации и масштабирования
При таком подходе
1. Определить что это БОТ будет не возможно
2. Изменения в DOM дереве по-барабану - а значит стабильная работа
3. Масштабирование - легко, оператор менят данные в Firebase и они автоматически раскидываются по всем машинам.
У меня есть наработки которые уже работают по этому принципу, готов обсудить вариант сотрудничества.
Стоимость указана за 45 минут консультации.
-
943 53 2 1 Имею опыт работы с парсерами на Node.js (см. отзывы и портфолио)
Телеграм @Ivan_Lisp
Актуальные фриланс-проекты в категории Javascript и Typescript
Full-stack разработка — Amazon PPC Dashboard (Stage 1)Нужен full-stack разработчик с опытом работы с Amazon API для реализации Stage 1 внутреннего PPC-дашборда. Проект реальный, данные живые, всё готово к старту. Прототип фронтенда (5 страниц, React + TypeScript): ЧТО УЖЕ ГОТОВО — Фронтенд-прототип на React 18 + TypeScript + Vite… Javascript и Typescript, Веб-программирование ∙ 1 день 11 часов назад ∙ 26 ставок |
Разработка сайта-конструктора фотокниг и фоторамокЦель проекта Необходимо разработать современный веб-сайт для заказа фотокниг, фоторамок и другой персонализированной фотопродукции. Главная задача проекта — предоставить клиенту возможность самостоятельно создать готовый макет изделия непосредственно на сайте без участия… Javascript и Typescript, Веб-программирование ∙ 3 дня 3 часа назад ∙ 96 ставок |
Команда для самописного маркетплейса ритуальных услуг.Ищем команду для запуска и развития самописного национального маркетплейса ритуальных услуг. Сразу: не ищем одиночек, джунов и “сборщиков сайтов”. Нужна сильная продуктовая команда уровня middle+/senior с реальными кейсами маркетплейсов/сложных SaaS. Просьба не откликаться,… Javascript и Typescript, Веб-программирование ∙ 3 дня 22 часа назад ∙ 26 ставок |
Доработка существующего Next.js/Supabase проекта: офферы, CRM, аналитика, AI-чатЕсть действующий проект WatchGenius — платформа аналитики люксовых часов с каталогом моделей, ценовой аналитикой, внешними офферами, формами заявок и AI-чатом. Проект уже разработан частично. Нужен не сайт с нуля, а опытный full-stack разработчик, который сможет разобраться в… Javascript и Typescript, Веб-программирование ∙ 5 дней 23 часа назад ∙ 55 ставок |
Ищу Senior Full-Stack разработчика (Payload CMS) — миграция 2 сайтов гостиничной сетиСеть курортных отелей переходит с Webflow на собственный headless-стек. Два корпоративных сайта (~140 страниц вместе), multi-tenant архитектура — один код обслуживает несколько отелей на разных доменах. Проект уже стартовал: инфраструктура развернута, tenants настроены, базовые… CMS, Javascript и Typescript ∙ 9 дней 21 час назад ∙ 19 ставок |