Парсинг сайта

Есть веб сайт с формой поиска.

Нужен скрипт, который позволяет залогиниться на сайте, осуществить поиск по имени и записать результат в mysql базу данных (используя PDO).

Лучше что бы это было сделано через curl/php.

Варианты на selenium и python – тоже ок.

Скрипт должен запускаться по крону каждые x минут.

Формат базы данных:

Таблица запросов: person_id. first_name_rus, last_name_rus

Таблица результатов: person_id, region_name, name_eng, result

Таблица лога: person_id, region_name, status, datetime

Таблица статуса скрипта: script_id, status.

Алгоритм:

0. Проверяется таблица статуса скрипта – если для script_id стоит статус “on” - завершается работа.

Если нет – записывается статус “on” и скрипт продолжает работу.

(переменная script_id = “1”).

1. Скрипт берет первый попавшийся person_id из таблицы запросов, у которого нет записи в таблице логов по нужному region_name со статусом “start”.

(переменная region_name – указывается в коде скрипта, там же где и логин и пароль к базе).

2. Записывает “$person_id”, “$region_name” “start” в таблицу логов.

3. Переводит фамилию и имя с русского на английский, используя разные варианты написания

(получается много вариантов имен и фамилий).

4. Делает запрос по каждому варианту перевода фамилии, парсит результат и проверяет его на совпадение с любым вариантом записи имени.

При совпадении и имени и фамилии - записывает результат в таблицу результатов,

где в поле “name_eng“ – записывается найденный вариант записи фамилия+имя, а в поле результата – найденный объект. (Каждый объект – отдельная запись).

5. Записывает “$person_id”, “$region_name” “complete” в таблицу логов по окончании работы.

6. Обновляется запись в таблице статуса скрипта на “off”.

Для обсуждения задачи – пожалуйста напишите личное сообщение с вашим skype или whatsapp.