На замовлення Scraper / Parser /сторінок Книг Нерухомості

Вітаю!
Я маю багаторічний досвід розробки веб-додатків, парсерів і баз даних, а також оптимізації продуктивності для великих обсягів даних. Я можу виконати ваше завдання з розробки програми для завантаження, парсингу земельних книг, створення структурованої бази даних та моніторингу змін.

Пропоновані ресурси та технології:
Мова програмування:
Python – це оптимальний вибір для створення парсерів та багатопоточних додатків. Його бібліотеки, такі як BeautifulSoup або lxml (для парсингу HTML), а також asyncio чи threading (для багатопоточності), забезпечать високу продуктивність.

База даних:
Для швидкого зберігання та пошуку рекомендую використовувати SQL бази, такі як MySQL або PostgreSQL, або NoSQL рішення, як MongoDB (для гнучкого зберігання неструктурованих даних). Вибір залежить від обсягу даних і необхідної швидкості доступу.
…
Багатопоточність:
Для досягнення продуктивності в 150 тисяч записів за 24 години, я використаю асинхронну або багатопоточну модель, що дозволить виконувати завантаження і парсинг паралельно.

Моніторинг змін:
Програму можна налаштувати для періодичного сканування вибраних записів і сповіщення про зміни. Це можна реалізувати через фонові задачі з використанням планувальника, наприклад, Celery для Python або Quartz для Java.

Запуск на сервері:
Програму краще запускати на сервері, що дозволить безперервно працювати, обробляти великі обсяги даних і легко масштабувати систему за потреби. Хмарні сервери, такі як AWS або DigitalOcean, будуть чудовим вибором для цього проєкту.

Цікаво. Маю досвід написання парсерів та автоматизації. Можу реалізувати серверну версію на Python використовуючи multitrading, однак хотілося б подивитись ТЗ щоб детально обговорити терміни та вартість.