Craweler (паук) по поиску данных по заданным параметрам

Коротко идея проекта:

Робот собирает ссылки, данные на посты с морскими вакансиями по морским ресурсам( по работе в море) в интернете сортирует их по тематикам. То есть создает несколько тематических потоков по морским вакансиям. Затем, реализуется возможность подписать пользователя к потоку в мессенджерах.

Crawler

Паук собирает информацию по указанным ресурсам и по всему интернету указанного ниже содержания, после сбора информации, робот сортирует ее в соответствующие разделы для использования в чатботах.

Пример тэгов:

> Full Crew

>Port Captain

>Barge Superintendent

>Barge Master

>Master

>OIM

>Rig Superintendent

>Barge Engineer

Пример ресурсов для crawling-а:

1. https://www.rigzone.com/oil/jobs/search/
2. http://jobatsea.org/#sthash.8mRwUrAr.dpbs
3. http://offshorejob.eu/public/

Техническое Задание:

• Разработать робота поисковика(crawler). Обучить его качественному(релевантному) поиску и обработке данных, представление информации в удобной форме для чтения и работы с ней. Возможность использовать в потоках в месенджерах. 
• Связать робота поисковика и интегрировать с мессенджерами