На заказ Scraper / Parser / страниц Книг Недвижимости
Я поручаю создание программы, будь то версия для Windows или программное обеспечение, работающее на сервере (это бы я предпочел), которое:
- загружает земельные книги - сохраняет 5 подстраниц /разделов каждой книги в файл HTML - Полный вид (то есть полный обзор ситуации с данным объектом недвижимости)
- парсер, который извлекает данные из книг = html-файлов и создает структурированную базу данных, которая будет доступна для поиска по различным параметрам
- во время процесса парсинга проведет анализ содержания и присвоит теги каждому разделу определенным образом
Вся работа программы должна быть непрерывной, и должно работать много потоков параллельно
Производительность такой программы составляет минимум 150 тысяч записей за 24 часа
Программа также должна иметь функции мониторинга изменений в выбранной записи = земельной книге - такой список я взял на себя пользователь.
-
1 день915 UAH1 день915 UAH
Здравствуйте, меня интересует ваше предложение, у меня есть большой опыт в разборе таких задач. Можете предоставить пример одной книги для более детального изучения? Также мы можем обсудить все детали в личных сообщениях. Я буду рад сотрудничеству.
-
14 дней963 UAH
1312 25 1 14 дней963 UAHПривет!
У меня многолетний опыт разработки веб-приложений, парсеров и баз данных, а также оптимизации производительности для больших объемов данных. Я могу выполнить ваше задание по разработке программы для загрузки, парсинга земельных книг, создания структурированной базы данных и мониторинга изменений.
Предлагаемые ресурсы и технологии:
Язык программирования:
Python – это оптимальный выбор для создания парсеров и многопоточных приложений. Его библиотеки, такие как BeautifulSoup или lxml (для парсинга HTML), а также asyncio или threading (для многопоточности), обеспечат высокую производительность.
База данных:
Для быстрого хранения и поиска рекомендую использовать SQL базы, такие как MySQL или PostgreSQL, или NoSQL решения, как MongoDB (для гибкого хранения неструктурированных данных). Выбор зависит от объема данных и необходимой скорости доступа.
…
Многопоточность:
Для достижения производительности в 150 тысяч записей за 24 часа, я использую асинхронную или многопоточную модель, что позволит выполнять загрузку и парсинг параллельно.
Мониторинг изменений:
Программу можно настроить для периодического сканирования выбранных записей и уведомления о изменениях. Это можно реализовать через фоновые задачи с использованием планировщика, например, Celery для Python или Quartz для Java.
Запуск на сервере:
Программу лучше запускать на сервере, что позволит непрерывно работать, обрабатывать большие объемы данных и легко масштабировать систему по мере необходимости. Облачные серверы, такие как AWS или DigitalOcean, будут отличным выбором для этого проекта.
-
7 дней94 831 UAH
603 4 0 7 дней94 831 UAHИнтересно. У меня есть опыт написания парсеров и автоматизации. Могу реализовать серверную версию на Python, используя многопоточность, однако хотелось бы посмотреть ТЗ, чтобы детально обсудить сроки и стоимость.
-
Hello Jan,
I have a few Qs on your project
- Are you able to communicate in English, or only Polish is acceptable?
- "Wydajność takiego programu to min 150 tys rekordów na 24 godziny". If I got it right, this means that (roughly) every second app needs to process at least 2 records. what is the maximum possible number of records?
- processing 2 records/sec does require some computing power. does your project assumes some spendings on computing power?
- how often processing of 15ok of records is supposed to happen? is it a one time thing and later only "difference" should be taken care of? or it should happen with some regularity?
- is it a time-boxed project?
- may I know a bottom (and/or top) levels of funding for actual coding of this task?
- is there any document that holds full version of the requirements? or text that we see here is the only thing you have as of now?
thanks in advance for your answers. sending them through personal messages is also OK
-
Актуальные фриланс-проекты в категории Javascript и Typescript
Обновление дизайна на сайтеНужно обновить дизайн существующего сайта используя HTML, CSS, JS: освежить внешний вид, сделать его современным и адаптивным под мобильные устройства. Требуется добавить плавные анимации и интерактивные элементы . HTML и CSS верстка, Javascript и Typescript ∙ 3 часа 57 минут назад ∙ 53 ставки |
Консультация и аудит текущего проекта на Odoo 19 Community Edition
Ищем Odoo разработчика — соло-разработчика с опытом разработки на Odoo 19 Community Edition, в том числе с использованием Claude Code. Нам нужен специалист, который успешно реализовал проекты в Odoo и имеет практический опыт разработки с использованием Claude Code. Важно:… C и C++, Javascript и Typescript ∙ 9 часов 37 минут назад ∙ 5 ставок |
Интернет-магазин одеждыНужен разработчик для интернет-магазина одежды Ищу опытного разработчика для создания полноценного интернет-магазина одежды с дроп-моделью продаж. Что нужно сделать: 6 страниц: главная, товар, корзина, оформление, аккаунт, админ панель Вход через Google аккаунт Корзина и… HTML и CSS верстка, Javascript и Typescript ∙ 2 дня 6 часов назад ∙ 96 ставок |
Full-stack разработка — Amazon PPC Dashboard (Stage 1)Нужен full-stack разработчик с опытом работы с Amazon API для реализации Stage 1 внутреннего PPC-дашборда. Проект реальный, данные живые, всё готово к старту. Прототип фронтенда (5 страниц, React + TypeScript): ЧТО УЖЕ ГОТОВО — Фронтенд-прототип на React 18 + TypeScript + Vite… Javascript и Typescript, Веб-программирование ∙ 4 дня 17 часов назад ∙ 31 ставка |
Разработка сайта-конструктора фотокниг и фоторамокЦель проекта Необходимо разработать современный веб-сайт для заказа фотокниг, фоторамок и другой персонализированной фотопродукции. Главная задача проекта — предоставить клиенту возможность самостоятельно создать готовый макет изделия непосредственно на сайте без участия… Javascript и Typescript, Веб-программирование ∙ 6 дней 9 часов назад ∙ 98 ставок |
Польша