Парсер, фильтрация результатов, база данных и сервер
33 000 UAHВнимание ! Не решен вопрос с фильтрацией в зависимости от адреса. Нужно грузить и искать пересечения в Google карте и накладывать схему городского транспорта!!!!
Задание
Реализованный образец чат-бота homebro_rent_bot
Для выполнение работы можно взять в примеры такие парсеры:
https://github.com/HugoJBello/python-datascraping-fotocasa-idealista - приоритет
https://github.com/ramonmv04/fotocasa
https://github.com/brincowale/search-rooms
https://github.com/ethancarlsson/Idealista-WebScraper
Парсер должен работать с такими источниками:
https://www.pisocompartido.com
Требуемые данные:
загрузка информации об объектах жилой недвижимости в аренду (комнаты, квартиры) - детально смотрите ниже;
найденная парсером информация должна сохраняться на сервере;
предусмотреть выполнение смены ip адресов во время загрузки для избежания блокировок со стороны сайтов;
предусмотреть обход капчи, пример как это реализовано: https://github.com/ethancarlsson/Idealista-WebScraper
один и тот же объект недвижимости должен сохраняться один раз, если объект встречается повторно, прописывать признак дубликата позже опубликованному (требуется обсуждение);
сохранить признаки или теги “можно с животными” и “курящие”;
предусмотреть возможность выгрузки адреса объекта недвижимости который на сайте представлен в качестве зоны на GoogleMaps, адрес также может содержаться в описании объекта
если адрес задан напрямую текстом, сохранять адрес в виде текста. можно ли, имея текстовый адрес, получить гугл адрес?
если адрес задан территорией на карте - сохранить данные о территории
создать клиентскую страницу или google form с возможностью добавить информацию об объекте вручную
предусмотреть постепенное подключение дополнительных зон для загрузки (следующий город, автономия) (требуется обсуждение);
предусмотреть автоматическое удаление данных через определенный период времени;
перепроверка актуальности объектов
Построчное описание данных на примере сайта idealista.com
идентификатор
название
фото
район
стоимость
описание
количество комнат
количество ванных комнат
квадратура
этаж
удобства как на скрине
дополнительные фотографии
наименование агентства и контакты (если есть)
признак собственник или нет
Выгрузка и настройка
предусмотреть удобную настройку парсера. К примеру изменения типа объекта аренды (комната) или географической зоны работы.
должен быть предусмотрен удобный доступ к результатам работы парсера с целью запуска в документах Google или иных программах
Сортировка результатов
Сортировка результатов будет осуществляться согласно запросу клиента из чат-бота.
Основные данные для настройки
бюджет
комната, квартира, и то и то
количество комнат
от собственника или агентства
линии метро или поезда
расстояние до метро или поезда
станции метро или поезда
убрать убитые ремонты (задача для нейросети)
настройки фильтрации и сортировки должны сохраняться на стороне чат-бота пользователя
Уже отсортированная информация, согласно настройкам пользователя, должна быть доступна для запроса со стороны сервера, также если произошли изменения. Т.е если появились новые варианты недвижимости (квартиры, комнаты), то новые данные должны попасть в выборку и должны быть загружены чат-ботом, если пользователь еще не остановил работу бота.
Дополнительно
использовать перевод на другой язык контента объекта “на лету”, по возможности
Требование к серверу
сервер должен предусматривать большую нагрузку со стороны запросов пользователей чат-бота (запрос ведущий к сортировке данных или запрос на получения информации из базы)
настройка прав доступа: пользователь, администратор и разработчик
база данных должна быть переведена в пользование заказчика.
административные доступы должны быть переданы заказчику
Актуальные фриланс-проекты в категории Базы данных и SQL
Необходимо проверить скритими и обновить данные в бд postgres.Необходимо поправить sql скрипты для базы postgres. Нужно проверить скритими и обновить данные с внешних таблиц Excel и между 2-мя базами (разные сервера) Postgres. Запуск скриптов через AnyDesk программа Navicat. Перечень данных для проверки и корректировки: 1. Товары… Базы данных и SQL ∙ 5 часов 17 минут назад ∙ 17 ставок |
Нужен Airtable-архитектор для построения реляционной схемы и новой чистой базы AirtableНеобходимо помочь переосмыслить и построить чистую реляционную схему для внутренней операционной системы на Airtable. Текущая база уже используется командой, но она выросла органически: структура частично плоская, часть таблиц/вьюшек используется активно, часть почти не… Базы данных и SQL, Десктопные приложения ∙ 22 часа 37 минут назад ∙ 8 ставок |
Платформа образования по тренерству в баскетболе + индивидуальная CMSПлатформа образования по баскетбольному тренерству + Пользовательская CMSОбзор проектаМы ищем опытную команду веб-разработчиков или full-stack разработчика для создания современной платформы образования по баскетбольному тренерству.Сайт предоставит баскетбольным тренерам… Базы данных и SQL, Веб-программирование ∙ 1 день 16 часов назад ∙ 83 ставки |
Интеграция вайбер в 8.3
10 000 UAH
Необходима интеграция Viber в собственную CRM (1С 8.3)О компании Компания "Домофон Систем" занимается установкой и обслуживанием домофонных систем. База более 40 000 абонентов. Работаем на собственной доработанной системе на базе 1С 8.3. Ищем специалиста или команду для… Базы данных и SQL, Разработка ботов ∙ 1 день 19 часов назад ∙ 13 ставок |
Доопрацювання 1С УТ 11 для ТСД Zebra (RDP): різні звукові сигнали при скануванні
1000 UAH
Конфигурация: 1С УТ 11 Адресный склад ТСД Zebra TC26 Работа через RDP Сканирование товаров выполняется в документах приемки, размещения, отбора и других складских операциях. Текущая проблема: Кладовщики работают через ТСД Zebra. При сканировании не всегда замечают сообщения на… C#, Базы данных и SQL ∙ 3 дня 17 часов назад ∙ 6 ставок |
