Необходим парсер для поиска объявлений аграрной тематики по определенным поисковым словам и словосочетаниям. Поиск будет происходить по строго определенным сайтам. Разумеется админ должен иметь возможность редактировать список сайтов для мониторинга. Возможности настройки поиска:
1. изменение поисковых слов и словосочетаний (таковых может быть много). Не строгое соответствие сочетанию слов и падежей в словах. Если слово сочетание "Продам автомобиль", то Продам + автомобиль.
2. Стоп-слова при поиске.
2. возможность настройки даты объявления. Т.е к примеру "только за сегодня" или "за 3 последних дня". В данном случае важно понимать, что объявления на досках могут быть подняты либо обновлены пользователем. Тогда дата меняется на сегодняшнюю. Интересует именно дата размещения. Другими словами, интересуют объявления максимально свежие. В приоритете - сравнение новых объявлений с теми, что были ранее по ссылке. Т.е. если ссылку на какое-либо объявление парсер уже занес в базу, то он сравнивает ссылки за новый день с теми что есть у него в базе и выдает админу те ссылки, которых у него в базе еще нет
3. поиск только по рубрикам "Продам". На некоторых сайтах (аграрной тематики) есть разделение на Закупки и Продажи. Интересуют только Продажи.
4. Поиск по определенным рубрикам сайтов. Т.е. искать искомое слово не во всему сайту.
4. Каким образом будет происходить выдача для админа - обсуждается. варианты разные. Либо к примеру раз в час списком, либо же другой интервал времени (возможность настройки. к примеру раз в час, раз в 3 часа и тд).
5. Уведомления для админа в телеграм о новых объявлениях
6. При обнаружении объявления с аналогичным заголовком, что было вчера или к примеру позавчера, помечать подобное объявление маркером, чтобы админ видел.
Возможности админа парсера
1. возможность менять ключевые слова и фразы. Ключевых слов или фраз может быть до нескольких десятков
2. возможность установки промежутков парсинга, к примеру раз в 2 часа, раз в 3 часа и тд.
3. Возможность добавления Стоп слов при нахождении которых парсер не выдает объявления
4. возможность добавления админом сайтов для парсинга
5. на сайтах парсинг по строго определенным рубрикам. К примеру "продам пшеницу" или "пшеница" может быть как в Зерновых , так и к примеру на OLX в разделе косметика и прочее.
6. Объявления должны выдаваться только свежеразмещенные. Т.е. избегать объявлений которые пользователь к примеру платно поднимает каждый день (это определяется по ссылке на объявление)
7. Реестр в виде "источник", "заголовок", "ссылка", телефон.
8. При нажатии на телефон - выдаются все объявления которые были в базе парсера ранее.
9. Очищение базы парсера раз к примеру в 7 дней.
10. возможность запуска парсера утром и выключения к концу рабочего дня