Внимание ! Не решен вопрос с фильтрацией в зависимости от адреса. Нужно грузить и искать пересечения в Google карте и накладывать схему городского транспорта!!!!
Задание
Реализованный образец чат-бота homebro_rent_bot
Для выполнение работы можно взять в примеры такие парсеры:
https://github.com/HugoJBello/python-datascraping-fotocasa-idealista - приоритет
https://github.com/ramonmv04/fotocasa
https://github.com/brincowale/search-rooms
https://github.com/ethancarlsson/Idealista-WebScraper
Парсер должен работать с такими источниками:
https://www.fotocasa.es/
https://www.idealista.com/ru/
https://www.pisocompartido.com
Требуемые данные:
загрузка информации об объектах жилой недвижимости в аренду (комнаты, квартиры) - детально смотрите ниже;
найденная парсером информация должна сохраняться на сервере;
предусмотреть выполнение смены ip адресов во время загрузки для избежания блокировок со стороны сайтов;
предусмотреть обход капчи, пример как это реализовано: https://github.com/ethancarlsson/Idealista-WebScraper
один и тот же объект недвижимости должен сохраняться один раз, если объект встречается повторно, прописывать признак дубликата позже опубликованному (требуется обсуждение);
сохранить признаки или теги “можно с животными” и “курящие”;
предусмотреть возможность выгрузки адреса объекта недвижимости который на сайте представлен в качестве зоны на GoogleMaps, адрес также может содержаться в описании объекта
если адрес задан напрямую текстом, сохранять адрес в виде текста. можно ли, имея текстовый адрес, получить гугл адрес?
если адрес задан территорией на карте - сохранить данные о территории
создать клиентскую страницу или google form с возможностью добавить информацию об объекте вручную
предусмотреть постепенное подключение дополнительных зон для загрузки (следующий город, автономия) (требуется обсуждение);
предусмотреть автоматическое удаление данных через определенный период времени;
перепроверка актуальности объектов
Построчное описание данных на примере сайта idealista.com
идентификатор
название
фото
район
стоимость
описание
количество комнат
количество ванных комнат
квадратура
этаж
удобства как на скрине
дополнительные фотографии
наименование агентства и контакты (если есть)
признак собственник или нет
Выгрузка и настройка
предусмотреть удобную настройку парсера. К примеру изменения типа объекта аренды (комната) или географической зоны работы.
должен быть предусмотрен удобный доступ к результатам работы парсера с целью запуска в документах Google или иных программах
Сортировка результатов
Сортировка результатов будет осуществляться согласно запросу клиента из чат-бота.
Основные данные для настройки
бюджет
комната, квартира, и то и то
количество комнат
от собственника или агентства
линии метро или поезда
расстояние до метро или поезда
станции метро или поезда
убрать убитые ремонты (задача для нейросети)
настройки фильтрации и сортировки должны сохраняться на стороне чат-бота пользователя
Уже отсортированная информация, согласно настройкам пользователя, должна быть доступна для запроса со стороны сервера, также если произошли изменения. Т.е если появились новые варианты недвижимости (квартиры, комнаты), то новые данные должны попасть в выборку и должны быть загружены чат-ботом, если пользователь еще не остановил работу бота.
Дополнительно
Требование к серверу
сервер должен предусматривать большую нагрузку со стороны запросов пользователей чат-бота (запрос ведущий к сортировке данных или запрос на получения информации из базы)
настройка прав доступа: пользователь, администратор и разработчик
база данных должна быть переведена в пользование заказчика.
административные доступы должны быть переданы заказчику
