Парсер, фильтрация результатов, база данных и сервер

Внимание ! Не решен вопрос с фильтрацией в зависимости от адреса. Нужно грузить и искать пересечения в Google карте и накладывать схему городского транспорта!!!!

Задание

Реализованный образец чат-бота homebro_rent_bot

Для выполнение работы можно взять в примеры такие парсеры:

https://github.com/HugoJBello/python-datascraping-fotocasa-idealista - приоритет 

https://github.com/ramonmv04/fotocasa

https://github.com/brincowale/search-rooms

https://github.com/ethancarlsson/Idealista-WebScraper

Парсер должен работать с такими источниками:

https://www.fotocasa.es/

https://www.idealista.com/ru/

https://www.pisocompartido.com

Требуемые данные:

• загрузка информации об объектах жилой недвижимости в аренду (комнаты, квартиры) - детально смотрите ниже;

• найденная парсером информация должна сохраняться на сервере;

• предусмотреть выполнение смены ip адресов во время загрузки для избежания блокировок со стороны сайтов;

• предусмотреть обход капчи, пример как это реализовано: https://github.com/ethancarlsson/Idealista-WebScraper     

• один и тот же объект недвижимости должен сохраняться один раз, если объект встречается повторно, прописывать признак дубликата позже опубликованному (требуется обсуждение);

• сохранить признаки или теги “можно с животными” и “курящие”;

• предусмотреть возможность выгрузки адреса объекта недвижимости который на сайте представлен в качестве зоны на GoogleMaps, адрес также может содержаться в описании объекта

• если адрес задан напрямую текстом, сохранять адрес в виде текста. можно ли, имея текстовый адрес, получить гугл адрес?

• если адрес задан территорией на карте - сохранить данные о территории

• создать клиентскую страницу или google form с возможностью добавить информацию об объекте вручную

• предусмотреть постепенное подключение дополнительных зон для загрузки (следующий город, автономия) (требуется обсуждение);

• предусмотреть автоматическое удаление данных через определенный период времени;

• перепроверка актуальности объектов

Построчное описание данных на примере сайта idealista.com

• идентификатор

• название

• фото

• район

• стоимость 

• описание 

• количество комнат

• количество ванных комнат

• квадратура 

• этаж

• удобства как на скрине

• дополнительные фотографии

• наименование агентства и контакты (если есть)

• признак собственник или нет 

Выгрузка и настройка

• предусмотреть удобную настройку парсера. К примеру изменения типа объекта аренды (комната) или географической зоны работы. 

• должен быть предусмотрен удобный доступ к результатам работы парсера с целью запуска в документах Google или иных программах

Сортировка результатов

Сортировка результатов будет осуществляться согласно запросу клиента из чат-бота.

Основные данные для настройки

• бюджет

• комната, квартира, и то и то

• количество комнат

• от собственника или агентства

• линии метро или поезда

• расстояние до метро или  поезда

• станции метро или поезда

• убрать убитые ремонты (задача для нейросети) 

настройки фильтрации и сортировки должны сохраняться на стороне чат-бота пользователя

Уже отсортированная информация, согласно настройкам пользователя,  должна быть доступна для запроса со стороны сервера, также если произошли изменения. Т.е если появились новые варианты недвижимости (квартиры, комнаты), то новые данные должны попасть в выборку и должны быть  загружены чат-ботом, если пользователь еще не остановил работу бота. 

Дополнительно

• использовать перевод на другой язык контента объекта “на лету”, по возможности

Требование к серверу

• сервер должен предусматривать большую нагрузку со стороны запросов пользователей чат-бота (запрос ведущий к сортировке данных или запрос на получения информации из базы)

• настройка прав доступа: пользователь, администратор и разработчик

• база данных должна быть переведена в пользование заказчика.

• административные доступы должны быть переданы заказчику