Задача на парсінг
Настройка какого-либо из существующих парсеров (платных или бесплатных) для следующих задач:
Или розроботка нового
Задача 1.
В поисковых системах (гугл, яндекс, яху) нужно искать ссылки по ключевым словам (например, "аквариум", "зоотовары", "амуниция для собак" и т.д).
Нужно настроить работу с прокси и скорость запросов (количество потоков, паузы, и т.д.) чтобы запросы не блокировались. Нужно порекомендовать прокси-сервер, тариф, сделать необходимые настройки (в идеале, чтобы я только оплатил на указанной странице).
Поиск нужно проводить только в указанной стране (для начала - Украина).
На найденной странице должно обязательно быть одно из ключевых слов (например "купить" или "продажа" или "опт" или "магазин" и т.д)
Возможно, отсеивать страницы, на которых присутствует одно из списка ненужных слов (например, "книга")
Может быть серия из нескольких таких поисковых запросов (в связи с тем, что появились новые ключевые слова по данной задаче). Результаты такой серии должны объединяться.
Результат - список ссылок на сайты (если возможно, дублирующиеся страницы, которые не одинаковые, но указывают на те же сайты или категории в каталогах или справочниках, должны быть объединены в одну)
При возможности, этот список ссылок должен быть разбит на виды сайтов: сайты, принадлежащие одному продавцу (визитки, интернет-магазины, и т.д), каталоги фирм и магазинов (типа https://www.0352.ua/catalog/23/zoosvit), порталы объявлений (типа ОЛХ). Разбитие связано с разным поиском на них контактных данных в следующей задаче. Возможно, есть еще какие-то принципиально другие категории.
Задача 2.
По ссылках из первой задачи отобрать контактные данные:
адреса е-мейл
телефоны
адрес (хотя бы город - если возможно)
:)
формат полученных данных:
название - "это телефон" - телефон1
название - "это телефон" - телефон2
...
название - "это е-мейл" - емейл1
...
название - "это адрес" - адрес1
