Разместите свой проект бесплатно и начните получать предложения от фрилансеров-исполнителей уже спустя минуты после публикации!

Нужно написать парсер сбора новостей по ключевым запросам

закрыт модератором


Наполняю сайт актуальными свежими новостями различной тематики. У меня в базе есть около 50 новостных сайтов, в том числе и англоязычных, на которые я перехожу по очереди, читаю их и отбираю нужные мне новости. Эта база постоянно увеличивается. Сайты иногда меняются, какие-то добавляю, а какие-то удаляю т.к они перестают обновляться.

Это все отбирает много время, тем более что из 20 сайтов я могу только на одном найти что-то интересное, чтобы зря не тратить время хотел бы автоматизировать этот процесс поиска нужной мне информации для дальнейшей ее обработки уже вручную.

В общем нужно написать парсер который сможет автоматически 1 раз в 5-10 минут переходить на указанные мною новостные сайты и находить там на главной странице в тексте и в заголовках рубрик, заданные слова или фразы. (Слова и фразы так же постоянно будут меняться)

При обнаружении их парсер должен выводить в своем окне анонсы этих статей в которых встречаются заданные мною фразы и ссылку сайта на котором он нашел это нашел.  
Это может быть небольшой отрывок из текста. Достаточно пару слов до фразы и пару после нее и ссылка. Дальше я уже сам иду по этой ссылке и глазами нахожу нужные мне новости.

Если возможно сделать ссылку с парсера сразу на отрывок этой новсти будет, еще лучше 🙂

В парсере нужна кнопка – я прочел и больше не показывать этот анонс из этой страницы. Чтобы не путаться.

Т.е дальше парсер должен искать совпадение фраз только 1 раз и не выдавать повторно одно и то же с одного сайта.

Как я это вижу:
В первой колонке в столбик идут нужные мне запросы: слово или фраза из двух или трех слов. Примерно 50 строк слов и словосочетаний которые можно менять, удалять и вводить новые


Во второй колонке список сайтов на которых парсер будет искать заданные слова из первого столбика. Эти сайты так же можно удалять, и добавлять новые до ьесконечности (но вреальности будет около 100 ссылок)

В третьей колонке парсер будет выводить результаты.

Сделал наброски как это должно выглядеть визуально. Хотя вид не имеет значения. Главное чтобы функционально все было.

Приложения 1

Просмотр приложений доступен только зарегистрированным пользователям.


  1. 1 день1000 ₽Победившая ставка
    Максим Арс
     520  проверен   8  0

    Помогу!
    Расскажу и покажу через:
    WhatsApp
    Viber
    Skype
    Телеграмм
    Как автоматизировать!

    Россия Россия | 19 марта 2018 |
  2. 4 дня2000 ₴
    Renat B
     865   24  0

    Здравствуйте!
    Сделаю быстро и качественно. Буду рад сотрудничеству.

    Украина Одесса | 19 марта 2018 |
  3. 21 день35000 ₽
    Georgiy Baranov
     200   1  0

    В составе команды занимаемся нестандартными веб решениями. Предлагаю реализовать проект на Laravel. В дальнейшем это позволит легко расширять функционал, в т.ч. добавить автопостинг в соц.сети и прочее. После разработки готовы взять проект на постоянную поддержку. Подробности можем обсудить в лс

    Россия Россия | 20 марта 2018 |
  4. 1 день1000 ₴
    Роман Тулайдан
     1743   31  0

    Сделаю.
    Точная цена и сроки после обсуждения и уточнения всех деталей

    Украина Ивано-Франковск | 20 марта 2018 |