Нужно написать парсер сбора новостей по ключевым запросам
Наполняю сайт актуальными свежими новостями различной тематики. У меня в базе есть около 50 новостных сайтов, в том числе и англоязычных, на которые я перехожу по очереди, читаю их и отбираю нужные мне новости. Эта база постоянно увеличивается. Сайты иногда меняются, какие-то добавляю, а какие-то удаляю т.к они перестают обновляться.
Это все отбирает много время, тем более что из 20 сайтов я могу только на одном найти что-то интересное, чтобы зря не тратить время хотел бы автоматизировать этот процесс поиска нужной мне информации для дальнейшей ее обработки уже вручную.
В общем нужно написать парсер который сможет автоматически 1 раз в 5-10 минут переходить на указанные мною новостные сайты и находить там на главной странице в тексте и в заголовках рубрик, заданные слова или фразы. (Слова и фразы так же постоянно будут меняться)
При обнаружении их парсер должен выводить в своем окне анонсы этих статей в которых встречаются заданные мною фразы и ссылку сайта на котором он нашел это нашел.
Это может быть небольшой отрывок из текста. Достаточно пару слов до фразы и пару после нее и ссылка. Дальше я уже сам иду по этой ссылке и глазами нахожу нужные мне новости.
Если возможно сделать ссылку с парсера сразу на отрывок этой новсти будет, еще лучше 🙂
В парсере нужна кнопка – я прочел и больше не показывать этот анонс из этой страницы. Чтобы не путаться.
Т.е дальше парсер должен искать совпадение фраз только 1 раз и не выдавать повторно одно и то же с одного сайта.
Как я это вижу:
В первой колонке в столбик идут нужные мне запросы: слово или фраза из двух или трех слов. Примерно 50 строк слов и словосочетаний которые можно менять, удалять и вводить новые
Во второй колонке список сайтов на которых парсер будет искать заданные слова из первого столбика. Эти сайты так же можно удалять, и добавлять новые до ьесконечности (но вреальности будет около 100 ссылок)
В третьей колонке парсер будет выводить результаты.
Сделал наброски как это должно выглядеть визуально. Хотя вид не имеет значения. Главное чтобы функционально все было.
Приложения 1
-
892 32 0 Сделаю.
Точная цена и сроки после обсуждения и уточнения всех деталей