Парсер, сортировщик, сервер, обмен данными с чат-ботом
1435 PLNВнимание ! Не решен вопрос с фильтрацией в зависимости от адреса. Нужно грузить и искать пересечения в Google карте и накладывать схему городского транспорта!!!!
Задание
Реализованный образец чат-бота homebro_rent_bot
Для выполнение работы можно взять в примеры такие парсеры:
https://github.com/HugoJBello/python-datascraping-fotocasa-idealista - приоритет
https://github.com/ramonmv04/fotocasa
https://github.com/brincowale/search-rooms
https://github.com/ethancarlsson/Idealista-WebScraper
Парсер должен работать с такими источниками:
https://www.pisocompartido.com
Требуемые данные:
загрузка информации об объектах жилой недвижимости в аренду (комнаты, квартиры) - детально смотрите ниже;
найденная парсером информация должна сохраняться на сервере;
предусмотреть выполнение смены ip адресов во время загрузки для избежания блокировок со стороны сайтов;
предусмотреть обход капчи, пример как это реализовано: https://github.com/ethancarlsson/Idealista-WebScraper
один и тот же объект недвижимости должен сохраняться один раз, если объект встречается повторно, прописывать признак дубликата позже опубликованному (требуется обсуждение);
сохранить признаки или теги “можно с животными” и “курящие”;
предусмотреть возможность выгрузки адреса объекта недвижимости который на сайте представлен в качестве зоны на GoogleMaps, адрес также может содержаться в описании объекта
если адрес задан напрямую текстом, сохранять адрес в виде текста. можно ли, имея текстовый адрес, получить гугл адрес?
если адрес задан территорией на карте - сохранить данные о территории
создать клиентскую страницу или google form с возможностью добавить информацию об объекте вручную
предусмотреть постепенное подключение дополнительных зон для загрузки (следующий город, автономия) (требуется обсуждение);
предусмотреть автоматическое удаление данных через определенный период времени;
перепроверка актуальности объектов
Построчное описание данных на примере сайта idealista.com
идентификатор
название
фото
район
стоимость
описание
количество комнат
количество ванных комнат
квадратура
этаж
удобства как на скрине
дополнительные фотографии
наименование агентства и контакты (если есть)
признак собственник или нет
Выгрузка и настройка
предусмотреть удобную настройку парсера. К примеру изменения типа объекта аренды (комната) или географической зоны работы.
должен быть предусмотрен удобный доступ к результатам работы парсера с целью запуска в документах Google или иных программах
Сортировка результатов
Сортировка результатов будет осуществляться согласно запросу клиента из чат-бота.
Основные данные для настройки
бюджет
комната, квартира, и то и то
количество комнат
от собственника или агентства
линии метро или поезда
расстояние до метро или поезда
станции метро или поезда
убрать убитые ремонты (задача для нейросети)
настройки фильтрации и сортировки должны сохраняться на стороне чат-бота пользователя
Уже отсортированная информация, согласно настройкам пользователя, должна быть доступна для запроса со стороны сервера, также если произошли изменения. Т.е если появились новые варианты недвижимости (квартиры, комнаты), то новые данные должны попасть в выборку и должны быть загружены чат-ботом, если пользователь еще не остановил работу бота.
Дополнительно
использовать перевод на другой язык контента объекта “на лету”, по возможности
Требование к серверу
сервер должен предусматривать большую нагрузку со стороны запросов пользователей чат-бота (запрос ведущий к сортировке данных или запрос на получения информации из базы)
настройка прав доступа: пользователь, администратор и разработчик
база данных должна быть переведена в пользование заказчика.
административные доступы должны быть переданы заказчику
Aktualne zlecenia dla freelancerów w kategorii C i C++
Rewersowe inżynieria konsolowych narzędzi do ankietowania kontrolerów SSD (Flash ID)1. Cel pracy Wydzielenie interfejsu programowania aplikacji (API) do interakcji z kontrolerami SSD/NVMe z dostarczonego zestawu narzędzi konsolowych (Phison, Silicon Motion, Realtek, Maxiotek, Marvell, JMicron itd.). Wynikiem ma być działający kod w języku C/C++ lub dokładna… C i C++, Aplikacje desktopowe ∙ 10 dni 5 godzin temu ∙ 6 ofert |
Opracowanie mapy nasion Minecraft Java / przeglądarki nasion dla strony internetowejOpracowanie mapy nasion Minecraft Java / Podgląd nasion dla strony internetowejOpis projektu Potrzebne jest opracowanie narzędzia opartego na przeglądarce Mapa nasion Minecraft Java / Podgląd nasion, które będzie działać na naszej stronie i pozwoli użytkownikowi wprowadzić… C i C++, Układ HTML i CSS ∙ 10 dni 12 godzin temu ∙ 17 ofert |
