Задача парсера?
Открыть определенный линк. Залогинится. Ввести ключевое слово в строку поиска. Определить, есть ли нужная позиция на данной странице, если есть открыть ее, если нет передвигаться на след страницу, пока не найдет.
Когда нашел позицию, зашел на ее страницу, добавил в корзину.
Зашел на страницу с корзиной, проверил наличие позиции в корзине - закончил задание, если не нашел - выполнил предыдущий пункт снова.
На базе чего будет работать?
Firefox Portable. Создан плагин к FF. Плагин добавляет в разметку соответствующей страницы JS код, который и парсит страницу.
Где берет данные?
Плагин отправляет запрос с авторизацией на Наш сервер.
Сервер по средствам PHP&MySql дает задание (все необходимые данные для парсера)
После успешного или не успешного выполнения задания JS делает опять запрос, отправляя статус задания.
Как вводятся данные?
WEB морда в которую вносятся все необходимые задания, данные
— Эта часть выполнена
Что нужно сделать?
После того, как задание закончено и запрос отправлен, и перед тем как будет начато новое задание, должны произойти несколько изменений. А именно - смениться IP адрес, смениться/очиститься куки, смениться заголовки браузера.
Как меняется IP адрес?
Первый вариант. На сервере хранится Прокси лист, из которого берутся данные IP:port. Внутри плагина должен быть код, способный использовать для браузера конкретный IP.
Второй вариант. Браузер постоянно подключен к серверу по одному и тому же маршруту. Когда требуется сменить адрес, плагин делает API запрос к провайдеру IP адресов с целью сменить IP.
Что должно происходить с куки?
Первый этап. Перед выполнением каждого из задания, плагин удаляет куки файлы с кэшем.
Второй этап. Для каждой учетной записи от нашего сайта-цели, будут соответствовать свой файл с куки. Задача плагина при взятии задания с определенной учетной записью, либо изменить путь к куки файлу, который будет храниться локально, либо заменять файлы с куки.
Как поменяется заголовок с браузером?
Есть приватный плагин к Firefox который из JS файлов, которые хранятся локально берет данные о UserAgent, Шрифты, языки прочее…
Все что нужно сделать, чтобы «сменить браузер» для внешнего сайта - это изменить содержимое этих двух файлов. Информация на что менять есть.
Это не разовая работа, а тот минимум при котором можно определиться, что стоит двигаться дальше.
Если Ваши навыки соответствуют заявленному заданию, а необходимость решать нестандартные задания не отбивает охоту работать, то есть смысл обсудить сотрудничество.
