Парсеры на node.js
Есть специалисты кто парсил на node.js есть мысль написать серию ботов, парсеров на этой технологии, нужны консультации от вас и если все устроит то будет много работы, да большой период.
Что бы человек понимал как работать с DOM (jsdom или другими аналогами если они есть).
Работа с букмекерскими конторами.
Selenium не подойдет, обсуждать даже не буду.
пишите в телеграм @lissoft быстрее будет
-
36 Selenium не подойдет - потому что подобные сайты с этим хорошо борятся
1. Его легко определить (если не тюнить)
2. DOM будет регулярно меняться - и это значит постоянно дорабатывать и монитоирть в ручном режиме
3. Рано или подздно добавят "динамический" DOM при котором поиск по xpath будет постоянно лажать.
Node JS подойдет, но только в качестве прототипа, дальше вы с ним серьезно увязните.
1. Node асинхронный и для других задач (только фанатики делают автомитизацию на нем)
2. Пункты 2 и 3 из предыдущего варианта
…
Вот реальная связка для вашей задачи
1. Java
2. Java Robot - пакет который эмулирует работу мышки и клавиатуры
3. Google Cloud visual API - стоит копейки, но все зависит от объемов
4. Luminati (luminati.io) или smartproxy чтобы обойти блокировку по IP
5. Firebase для хранения конфигурации и масштабирования
При таком подходе
1. Определить что это БОТ будет не возможно
2. Изменения в DOM дереве по-барабану - а значит стабильная работа
3. Масштабирование - легко, оператор менят данные в Firebase и они автоматически раскидываются по всем машинам.
У меня есть наработки которые уже работают по этому принципу, готов обсудить вариант сотрудничества.
Стоимость указана за 45 минут консультации.
-
943 53 2 1 Имею опыт работы с парсерами на Node.js (см. отзывы и портфолио)
Телеграм @Ivan_Lisp
Актуальні фриланс-проєкти в категорії Javascript та Typescript
Інтернет-магазину одягуПотрібен розробник для інтернет-магазину одягу Шукаю досвідченого розробника для створення повноцінного інтернет-магазину одягу з дроп-моделлю продажу. Що потрібно зробити: 6 сторінок: головна, товар, кошик, оформлення, акаунт, адмін панель Вхід через Google акаунт Кошик і… HTML та CSS верстання, Javascript та Typescript ∙ 1 день 18 годин тому ∙ 82 ставки |
Розробка повного стеку — Панель управління Amazon PPC (Етап 1)Потрібен full-stack розробник з досвідом роботи з Amazon API для реалізації Stage 1 внутрішнього PPC-дашборда. Проект реальний, дані живі, все готово до старту. Прототип фронтенда (5 сторінок, React + TypeScript): ЩО ВЖЕ ГОТОВО — Фронтенд-прототип на React 18 + TypeScript +… Javascript та Typescript, Веб-програмування ∙ 4 дні 5 годин тому ∙ 31 ставка |
Розробка сайту-конструктора фотокниг і фоторамокМета проекту Необхідно розробити сучасний веб-сайт для замовлення фотокниг, фоторамок та іншої персоналізованої фотопродукції. Головне завдання проекту — надати клієнту можливість самостійно створити готовий макет виробу без участі дизайнера безпосередньо на сайті.Основний… Javascript та Typescript, Веб-програмування ∙ 5 днів 21 година тому ∙ 98 ставок |
Команда для самописного маркетплейса ритуальних послуг.Шукаємо команду для запуску та розвитку самописного національного маркетплейсу ритуальних послуг. Одразу: не шукаємо одиночок, джунів і “збирачів сайтів”. Потрібна сильна продуктова команда рівня middle+/senior з реальними кейсами маркетплейсів/складних SaaS. Прошу не… Javascript та Typescript, Веб-програмування ∙ 6 днів 15 годин тому ∙ 27 ставок |
Доопрацювання існуючого проекту Next.js/Supabase: оффери, CRM, аналітика, AI-чатЄ діючий проект WatchGenius — платформа аналітики люксових годинників з каталогом моделей, ціновою аналітикою, зовнішніми офферами, формами заявок та AI-чатом. Проект вже частково розроблений. Потрібен не сайт з нуля, а досвідчений full-stack розробник, який зможе розібратися в… Javascript та Typescript, Веб-програмування ∙ 8 днів 17 годин тому ∙ 55 ставок |