Автоматизация сбора данных со страницы о недвижимости
30 552 UAH### Подробное техническое задание для автоматизации сбора данных о недвижимости
**Цель:** Автоматизировать сбор данных о недвижимости с сайта myhome.ge, обновлять базу данных в Excel и отправлять оповещения на электронную почту раз в час с новыми объявлениями, соответствующими заданным критериям.
#### Основные задачи:
1. **Сбор данных с сайта myhome.ge:**
- **Технология скрейпинга:** Использовать `Scrapy` для эффективного веб-скрейпинга.
- **Прокси и капча:** Внедрить ротацию прокси-серверов с использованием `Scrapy-Proxy-Pool` и решение капч через сервис `2Captcha`, если необходимо.
- **Извлечение данных:** Собрать следующие данные:
- Название объявления
- Цена
- Расположение
- Количество комнат
- Площадь (кв. метры)
- Дата размещения
- Описание
- Контактная информация
2. **Фильтрация данных по заданным критериям:**
- **Критерии:**
- Минимальная и максимальная цена
- Район
- Тип недвижимости (например, квартира, дом)
- Количество комнат
- Минимальная и максимальная площадь
- Дополнительные характеристики (например, балкон, этаж, тип отопления, состояние недвижимости)
- **Обновления в реальном времени:** Обеспечить интерфейс для динамического изменения критериев фильтрации пользователем.
3. **Управление базой данных в Excel:**
- **Формат файла:** Использовать `pandas` для создания и управления Excel файлом.
- **Обновление данных:**
- Обновлять базу данных ежечасно, добавляя новые объявления.
- Удалять устаревшие или дублированные объявления.
- **Резервное копирование и версионность:** Поддерживать версионные резервные копии Excel файла для предотвращения потери данных.
4. **Система оповещений по электронной почте:**
- **Частота:** Отправлять оповещения каждый час.
- **Содержание писем:** Включать новые объявления, соответствующие заданным критериям.
- **Сервис отправки писем:** Использовать `smtplib` для отправки писем.
- **Настраиваемое расписание:** Позволить пользователю изменять частоту оповещений при необходимости.
#### Технические требования:
1. **Язык программирования:**
- Рекомендуется Python
2. **Библиотеки и инструменты:**
- **Веб-скрейпинг:** `Scrapy`, `BeautifulSoup`
- **HTTP-запросы:** `requests`
- **Обработка данных:** `pandas`, `openpyxl`
- **Отправка писем:** `smtplib`
- **Ротация прокси:** `Scrapy-Proxy-Pool`
- **Решение капчи:** `2Captcha`
3. **Мониторинг и поддержка:**
- **Мониторинг в реальном времени:** Внедрить мониторинг с использованием `Prometheus` и `Grafana`.
- **Метрики:**
- Время отклика
- Количество успешных/неуспешных запросов
- Ошибки
- **Система оповещений:** Настроить оповещения при критических проблемах (например, высокий уровень ошибок, простой).
4. **Тестирование и документация:**
- **Фреймворк для тестирования:** Использовать `pytest` для тщательного тестирования.
- **Документация:** Предоставить полную документацию, включая инструкции по установке, руководство пользователя и руководство по устранению неполадок.
5. **Безопасность и соответствие требованиям:**
- **Конфиденциальность данных:** Обеспечить соответствие обработки данных GDPR и другим релевантным регламентам.
- **Безопасный доступ:** Использовать безопасные методы для доступа и хранения конфиденциальной информации (например, контактных данных).
6. **Сроки выполнения и поставки:**
- **План проекта:** Предоставить подробный план проекта с ключевыми этапами и сроками выполнения.
- **Прототип:** Предоставить рабочий прототип в течение первых двух недель.
- **Окончательная сдача:** Завершить проект в согласованные сроки.
#### Дополнительные условия:
- **Пользовательский интерфейс:** Разработать простой веб-интерфейс или командную строку для пользователей для изменения критериев фильтрации и настроек оповещений.
- **Масштабируемость:** Обеспечить возможность обработки увеличивающегося количества объявлений и взаимодействий пользователей без значительного ухудшения производительности.
- **План поддержки:** Предложить план поддержки после развертывания для обеспечения долгосрочной функциональности и решения возникающих проблем.
---
Пожалуйста, подтвердите свою готовность взяться за проект, предоставьте информацию о стоимости выполнения задания и сроки выполнения.
-
7 дней30 552 UAH7 дней30 552 UAH
Добрый день, могу реализовать на Node.js
Был опыт работы со скраперами и с интеграцией бд в виде гугл таблиц.
Напишите в личные сообщения для того чтобы обсудить детали
-
7 дней50 920 UAH
848 22 0 1 7 дней50 920 UAHГотов выполнить проект. Свяжитесь со мной для уточнения деталей
-
20 дней30 552 UAH
481 1 0 20 дней30 552 UAHДобрый день!
Я заинтересован в этом проекте и готов взять его на себя. Имею более 3 лет опыта в сфере backend + rdbms разработки, в частности с использованием Python, Scrapy, pandas и других необходимых инструментов. Знаю, как эффективно настроить автоматизированный скрейпинг, фильтрацию данных, обновление баз данных и систему оповещений. Готов обсудить детали и стоимость выполнения задания.
Пишите для детального обсуждения)
-
7 дней33 098 UAH
431 28 1 7 дней33 098 UAHЗдравствуйте, готов сделать, обращайтесь!
Работа будет выполнена качественно!
Буду рад сотрудничать!
-
20 дней30 552 UAH
798 3 0 20 дней30 552 UAHДобрый день
Я основатель ИТ-компании Zentriflex. У нас в команде есть UX/UI дизайнер с большим опытом, который создает сайты, которые продают, и Full Stack разработчики, которые пишут качественный код, используя последние технологии и поддержку SEO. Наш DevOps-специалист настроит надежную и экономичную инфраструктуру.
Мы работаем с такими технологиями, как Node.js и Nest.js для Back-end и React.js и Next.js для Front-end. Мы готовы реализовать вашу идею.
-
15 дней61 104 UAH
8773 60 0 1 15 дней61 104 UAHДобрый день!
Готов реализовать автоматизацию сбора данных о недвижимости в соответствии с вашим техническим заданием.
Имею опыт разработки подобных проектов, в частности в веб-скрапинге, обработке данных и настройке систем оповещений.
Пишу на Python. Занимаю 4-е место на платформе по этому языку.
Выполняю проекты быстро и качественно, обеспечивая соответствие всем требованиям.
…
Портфолио:
Freelancehunt
-
10 дней40 736 UAH
127 10 дней40 736 UAHДобрый день. Могу написать на языке Go. Качественно. Обращайтесь.
-
1 день30 552 UAH
8150 63 1 1 день30 552 UAHДобрый день!
Я готов помочь вам с автоматизацией сбора данных по недвижимости с веб-сайта myhome.ge, их обновлением в Excel и отправкой email-уведомлений с новыми списками каждый час.
С нетерпением жду возможности обсудить детали и приступить к работе!
-
1 день30 552 UAH
3853 24 0 1 день30 552 UAHДобрый день,
Я готов взяться за ваш проект. Имею опыт в автоматизации сбора данных с веб-сайтов, обновлении баз данных, и настройке оповещений.
Мои навыки включают использование `Scrapy` для вэб-скрапинга, создание и управление базой данных в Excel с помощью `pandas`, отправку email-уведомлений через `smtplib`, а также работу с прокси и решение капч через сервис `2Captcha`.
Мой рейт - 16$ в час. Для начала работы мне нужно дополнительно обсудить детали проекта и условия сотрудничества.
Спасибо за ваше внимание.
…
С уважением,
Максим
-
1 день101 840 UAH
2225 32 0 1 день101 840 UAHДобрый день. Уже имею полностью все сделанное для данного сайта. Все согласно ТЗ.
-
7 дней40 736 UAH
363 4 0 7 дней40 736 UAHДобрый день! Готов взяться, со всеми инструментами знаком. Так же настройку Grafana
-
1 день30 552 UAH
3186 52 1 1 день30 552 UAHДобрый день
Готов выполнить данную работу
Пишите
Смогу сделать качественно
Актуальные фриланс-проекты в категории Python
BuzzPost автоматизация Facebook под ИзраильПроект уже есть и он работает - задача решить вопрос по ограничению фб, при количестве постов в час более 3-4 (с 7 утра до 12 ночи) аккаунты клиентов ограничиваются фб. сайт - https://buzzpost.co.il/ Также поискать дыры в логике и в самом проекте и поправить их, опять же логика… Python, Работа с клиентами ∙ 4 часа 28 минут назад ∙ 8 ставок |
Создание Тик-ток фермы с генерацией дохода
27 000 UAH
в поиске человека, который может написать софт, для фермы тик ток, чтобы мы смогли генерировать трафик, получать доход. Ищем готовое решение с полным циклом. Python, Разработка ботов ∙ 2 дня 23 часа назад ∙ 16 ставок |
AI Commenting Platform для TikTok и Instagram.Цель проекта Разработать систему, которая позволяет управлять большим количеством аккаунтов TikTok и Instagram и автоматически публиковать релевантные комментарии под выбранными видео с использованием ИИ. Основной функционал1. Управление аккаунтами Необходимо реализовать… AI и машинное обучение, Python ∙ 4 дня 6 часов назад ∙ 23 ставки |
Построить модель классификации клиентов1. Есть данные клиентов в Mongo/SQL (примерно 20 000 записей с сырыми данными). 2. Необходимо на их основе построить фичи и модель классификации клиентов на поведенческие группы. 3. Проект выполнить на Python. AI и машинное обучение, Python ∙ 6 дней назад ∙ 45 ставок |
ИТ Автоматизация ведения VAT-отчетности
10 000 UAH
Необходимо разработать систему для автоматизации переноса данных о продажах из CRM в бухгалтерскую систему Wafeq. Система должна импортировать банковские и платежные отчеты, автоматически сверять платежи с инвойсами, формировать инвойсы для VAT-отчетности и минимизировать ручную… AI и машинное обучение, Python ∙ 6 дней 6 часов назад ∙ 52 ставки |
Германия