Парсер имитирующий пользователя с управлением удаленно
10 000 UAHЗадача парсера?
Открыть определенный линк. Залогинится. Ввести ключевое слово в строку поиска. Определить, есть ли нужная позиция на данной странице, если есть открыть ее, если нет передвигаться на след страницу, пока не найдет.
Когда нашел позицию, зашел на ее страницу, добавил в корзину.
Зашел на страницу с корзиной, проверил наличие позиции в корзине - закончил задание, если не нашел - выполнил предыдущий пункт снова.
На базе чего будет работать?
Firefox Portable. Создан плагин к FF. Плагин добавляет в разметку соответствующей страницы JS код, который и парсит страницу.
Где берет данные?
Плагин отправляет запрос с авторизацией на Наш сервер.
Сервер по средствам PHP&MySql дает задание (все необходимые данные для парсера)
После успешного или не успешного выполнения задания JS делает опять запрос, отправляя статус задания.
Как вводятся данные?
WEB морда в которую вносятся все необходимые задания, данные
— Эта часть выполнена
Что нужно сделать?
После того, как задание закончено и запрос отправлен, и перед тем как будет начато новое задание, должны произойти несколько изменений. А именно - смениться IP адрес, смениться/очиститься куки, смениться заголовки браузера.
Как меняется IP адрес?
Первый вариант. На сервере хранится Прокси лист, из которого берутся данные IP:port. Внутри плагина должен быть код, способный использовать для браузера конкретный IP.
Второй вариант. Браузер постоянно подключен к серверу по одному и тому же маршруту. Когда требуется сменить адрес, плагин делает API запрос к провайдеру IP адресов с целью сменить IP.
Что должно происходить с куки?
Первый этап. Перед выполнением каждого из задания, плагин удаляет куки файлы с кэшем.
Второй этап. Для каждой учетной записи от нашего сайта-цели, будут соответствовать свой файл с куки. Задача плагина при взятии задания с определенной учетной записью, либо изменить путь к куки файлу, который будет храниться локально, либо заменять файлы с куки.
Как поменяется заголовок с браузером?
Есть приватный плагин к Firefox который из JS файлов, которые хранятся локально берет данные о UserAgent, Шрифты, языки прочее…
Все что нужно сделать, чтобы «сменить браузер» для внешнего сайта - это изменить содержимое этих двух файлов. Информация на что менять есть.
Это не разовая работа, а тот минимум при котором можно определиться, что стоит двигаться дальше.
Если Ваши навыки соответствуют заявленному заданию, а необходимость решать нестандартные задания не отбивает охоту работать, то есть смысл обсудить сотрудничество.
-
404 5 0 1 Есть такая программа Browser Antidetect
http://img11.nnm.me/e/5/e/9/7/1f4a44fa9cfcd45eeeb5b9dcb25.png
Эмулирует любой браузер в т.ч. и Андроид через портабл версию Мозилла, разные разрешения экрана + чистит куки
---
Есть готовый прокси ченджер с возможностью выбора стран (списки конечно берутся с платных сайтов)
-

Здравствуйте...
А почему плагин к FF? Чего-нить типа PhantomJS или Selenium + FF - для таких задач - не больше подходят?! Куки файлы прибить - и сменить айпишник - тема - но щас же любят проверять "отпечаток браузера"... Вроде выпасают с высокой точностью браузер... А исчо есть LocalStorage, serviceWorker - там - наверное - тоже могут чего-нить оставить... Ну - если сайт усиленно защищается... Но - интересно - факт... Вот: [email protected] давайте попробуем обсудить...
Всего наилучшего...
-
Давайте спробую.
Дайте початкові дані для тесту [[email protected]]
-
Post Get ,опыт парсинга и прямые руки и не нужен ни селениум ни другие эмуляторы браузеров. Можно сделать многопоточно каждый поток будет эмулировать "уникального пользователя" с своим ip и своими куками.... делал подобное и не раз(emex, autodoc,букмекеры, visapoint)
-
Актуальные фриланс-проекты в категории Javascript и Typescript
Нужен frontend-разработчик / верстальщик для разовой доработки сайта на Magento 2
12 792 UAH
Сайт для оценки: https://copy.eurobrands-shop.de/ Задача: исправить frontend-баги на уровне темы Magento 2 / Amasty theme: CSS/LESS/JS, mobile, RTL, minicart, language dropdown, layout shift/CLS. Формат работы: - без локального разворачивания Magento; - работа через DevTools… HTML и CSS верстка, Javascript и Typescript ∙ 16 часов 59 минут назад ∙ 34 ставки |
Оптимизация Core Web Vitals (OpenCart) под Google PageSpeed — Мобильная и ПК версииОписание заказа: Ищем опытного frontend-разработчика/специалиста по OpenCart для оптимизации скорости загрузки сайта (категории и карточки товаров) под требования Google Core Web Vitals. О проекте: * CMS: OpenCart. * Специфика: Сайт работает в режиме каталога (корзины и… CMS, Javascript и Typescript ∙ 4 дня 16 часов назад ∙ 23 ставки |
Оптимизация скорости сайта WordPress
5117 UAH
полные детали отправим в личные сообщения Цель Максимально ускорить загрузку сайта, особенно на мобильных устройствах. KPI (обязательно) После завершения работ необходимо добиться следующих показателей. Mobile Performance 90+ LCP менее 2.2 сек INP менее 200 мс CLS менее 0.1… HTML и CSS верстка, Javascript и Typescript ∙ 5 дней 11 часов назад ∙ 69 ставок |
Ищем Odoo Developer — соло-разработчика с опытом разработки на Odoo 19 Community EditionЕсть рабочий, чисто спроектированный проект на Odoo 19 Community — CRM для украинского отеля, уже в production-grade инфраструктуре. Переписывать с нуля не планируем. Ищем одного человека, который подхватит проект, сохранит работоспособное и поведет его дальше: сначала CRM →… Javascript и Typescript, Веб-программирование ∙ 7 дней 13 часов назад ∙ 4 ставки |
Ищу опытного Full Stack разработчика для создания SaaS-сервиса для интернет-магазинов.Идея сервиса: Клиент загружает ссылку на свой товарный фид (XML или CSV). Сервис автоматически получает товары, берет их фотографии и создает новые рекламные изображения по готовым шаблонам: цена, скидка, логотип, акционные плашки и т.д. Также в сервисе должен быть простой… Javascript и Typescript, Веб-программирование ∙ 8 дней 19 часов назад ∙ 88 ставок |