Мониторинг СМИ

Нужно сделать бота (парсер) для мониторинга СМИ. 

Суть мониторинга проверяем из списка СМИ и записываем в базу все новости которые там публикуются. 

Структура базы : 

•  ссылка на сайт Сайт 

• ссылка на статью

• текст 

• время добавления в базу 

Уникальность сервиса в том что он может парсить все новостные сайты которые есть в  нашей базе и те которые мы будем добавлять. Так же как это делает гугл бот для индексации или яндекс. 

Возможна реализация через RSS лента, Robot txt, sitemap 

Допустим у нас есть база на 500 СМИ, бот должен каждую минуту-две проверять эти сайты на наличие новостей. 

Допустим бот заходит на https://lenta.ru берет оттуда все ссылки на новости и грузит в базу данных текст и ссылку на новость. Потом он заходит через 2 минуты и проверяем снова все ссылки, если он нашел ссылку которой нет в базе то добавляем ее в базу. 

WEB  Нужно создать админку  (без дизайна на ваше усмотрение) куда можно будет вставить ссылку на новостной портал который нужно в будущем мониторить. Делаем проверку на наличие RSS лента, Robot txt, sitemap если все ок тогда бот записывает все ссылки и текст с этого сайта, если бот не сможет его мониторить тогда выводим ошибку. 

Для примера бот должен мониторить все эти сайты: 

РФ 

https://lenta.ru/

https://www.mk.ru/

https://russian.rt.com/

https://www.gazeta.ru/

https://regnum.ru/

https://rg.ru/

https://iz.ru/

https://expert.ru/

https://www.dw.com/

https://www.sport-express.ru/

https://www.kommersant.ru/

Украина 

https://greenpost.ua/

https://ukrainian.voanews.com/

http://www.volynpost.com/

https://hromadske.ua/

https://lutsk.rayon.in.ua/

http://internetua.com/

https://www.volyn24.com/news

https://ukrainer.net/

https://glavcom.ua/

https://www.unian.net/

https://news.liga.net/

https://www.pravda.com.ua/rus/news/

https://mizez.com/

https://vgolos.com.ua/

https://opensvit.ua/

https://www.epravda.com.ua/

Нельзя делать решение под каждый сайт, это должно быть универсальным и работать со всеми новостными сайтами. 

Хорошим примером является боты для индексации, они выполняют такую же работу. 

Жду ваших предложений как можно это решить. 

В написание нужно использовать только php или go lang, а база mysql (ubuntu)