Switch to English?
Yes
Переключитись на українську?
Так
Переключиться на русскую?
Да
Przełączyć się na polską?
Tak
Разместите свой проект бесплатно и начните получать предложения от фрилансеров-исполнителей уже спустя минуты после публикации!

Бот парсер обьявлений с нужных сайтов по параметрам

Python, Разработка ботов

Опубликовать похожий проект
  1. 1114
     6  1

    Микола Солдатов
    5 дней5000 UAH

    Здравствуйте. Готов взяться за этот заказ. Задача понятна: реализация python-сервиса с telegram-ботом для управления фильтрами, черным списком продавцов, дедупликацией объявлений и формированием ежедневного дайджеста с Wallapop, Idealista и Milanuncios с развертыванием на VPS. Могу полностью закрыть разработку, настройку и запуск.

    Translated
    Показать оригинал
    Перевести
     
  2.
    Bogdan Dovzhenko
    196  
    1 день9998 UAH

    Основные компоненты

    Telegram Bot (aiogram)

    whitelist по user_id

    роли: Admin / Operator / Recipient

    меню через inline-кнопки + wizard-диалоги (FSM)
    …
    Worker-парсер + планировщик

    APScheduler (для MVP) или Celery (если хотите масштабирование)

    сбор объявлений чаще (каждые 1–3 часа), отправка дайджеста 1 раз/сутки

    PostgreSQL

    хранение фильтров/параметров

    blacklist продавцов (global + per-filter)

    дедупликация объявлений и история доставок

    Docker-compose

    bot + worker + postgres (+ optional redis если Celery)

    Источники: как именно парсить

    По каждому сайту делаем отдельный модуль-адаптер:

    Wallapop: чаще всего проще через выдачу/поиск + карточки, но может меняться разметка/антибот.

    Idealista: известен строгим антиботом, иногда требует более “бережного” доступа (задержки, заголовки, прокси), возможны блокировки.

    Milanuncios: обычно доступнее, но тоже может троттлить.

    Практический подход MVP:

    стартуем с парсинга HTML (requests/httpx + lxml/bs4)

    аккуратный rate-limit, рандомные задержки, нормальные User-Agent/headers

    если какой-то источник начинает “резать”, закладываем опцию переключения на Playwright (дороже по ресурсам)

    Дедуп и blacklist — как будет работать
    Дедупликация

    primary key объявления = site + listing_id (если есть) или нормализованный URL

    сохраняем: first_seen, published_at (если достали), title, price, location, url, source

    связь “объявление увидено фильтром” через таблицу связей

    отправка: только те, что “новые за период” и ещё не доставлены получателям

    Минус-продавцы

    поддерживаем несколько идентификаторов: seller_profile_url, seller_id, seller_name, phone (если реально доступно)

    blacklist бывает:

    global

    по фильтру

    фильтрация делается на этапе обработки карточки объявления

    Telegram UI (как будет выглядеть)

    Меню:

    Фильтры

    список

    создать (wizard: имя → источники → параметры → получатели → время отправки → включить)

    редактировать

    включить/выключить

    удалить

    Blacklist

    добавить (вставить ссылку/id/имя/телефон)

    список (с пагинацией)

    удалить

    Статус

    последний запуск по источникам

    найдено / отфильтровано / ошибок

    Тест

    ручной запуск фильтра (без ожидания суток)

    Настройки

    время дайджеста по умолчанию

    лимиты сообщений (батч 10–20)

    каналы доставки (TG обязательно, Email/WA — опционально)

     
  3.
    Євгеній Пилипчук
    424    1  0
    14 дней5000 UAH

    Здравствуйте. Ознакомился с ТЗ — очень профессионально и детально расписано, приятно работать с такой четкой постановкой задачи. Это именно мой профиль. Я специализируюсь на разработке сложных парсеров и Telegram-ботов с админ-панелями. Более того, у меня в портфолио уже есть готовое решение с идентичной архитектурой (система мониторинга цен Steam/OLX), которое я могу адаптировать под ваши потребности. Почему я справлюсь лучше других: Готовая архитектура: Я уже работаю с связкой Python + Aiogram + PostgreSQL + Docker. У меня реализована логика "воркеров", очередей задач (Redis/Celery) и фильтрации дублей. Это именно то, что вы описали в технических требованиях (docker-compose: bot + worker + db). Опыт с защитой: Wallapop и Idealista имеют серьезную защиту от ботов (Cloudflare/Datadome). Обычные запросы там не работают. Я умею обходить это через эмуляцию браузера (Playwright/Selenium) и ротацию User-Agents/Proxy. Админка: Реализую управление фильтрами и "минус-продавцами" через удобное меню с Inline-кнопками, как в моих предыдущих проектах. Мой план реализации: Развертывание БД (PostgreSQL) для хранения объявлений и черных списков. Написание парсеров для каждого источника (Idealista, Wallapop, Milanuncios). Настройка планировщика (Scheduler) для сбора данных и отправки отчетов раз в сутки. Готов показать примеры кода и архитектуру своих ботов. Уверен, что смогу реализовать этот проект качественно и стабильно.

    Translated
    Показать оригинал
    Перевести
     
  4.
    Назар Шубеляк
    358    1  0
    28 дней5000 UAH

    Добрый день!
    Я специализируюсь на Python-разработке, автоматизации процессов и создании Telegram-ботов. Ваше техническое задание понятно: парсинг объявлений с Wallapop, Idealista и Milanuncios, фильтры с параметрами поиска, система "минус-продавцов", дедупликация и ежедневные дайджесты в Telegram.
    Могу реализовать архитектуру на Python с базой данных (PostgreSQL), планировщиком и Docker-деплоем. Готов обсудить детали и сроки выполнения.

    Translated
    Показать оригинал
    Перевести
     
  5.
    Dmytro Zmenkov
    172    1  1
    1 день4000 UAH

    Добрый день! Готов выполнить данный проект есть большой опыт разработки различных приложений.

     
  6.
    Михайло Петрук
    310  
    4 дня5000 UAH

    Добрый день!

    Ознакомился с техническим заданием по разработке бота мониторинга объявлений (Wallapop / Idealista / Milanuncios) с управлением через Telegram. Проект хорошо структурирован, требования четкие — это именно тот тип задач, с которыми я регулярно работаю.

    Мой опыт и подход полностью соответствуют заявленным требованиям:

    Технологии и стек

    Python (async / sync, в зависимости от источника)
    …
    Парсинг: requests + BeautifulSoup / Playwright (где нужен JS)

    Telegram Bot API (aiogram / pyTelegramBotAPI)

    PostgreSQL (структурированная модель данных под фильтры, объявления, blacklist, deliveries)

    APScheduler / Celery beat для расписаний

    Docker / docker-compose

    VPS-деплой (Linux)

    Архитектура

    Разделение на сервисы: Telegram-бот (UI) + воркеры-парсеры

    Плагинная структура источников (каждый сайт — отдельный модуль)

    Дедупликация по ID / normalized URL + хеш ключевых полей

    Поддержка глобального и локального blacklist продавцов

    Постфильтрация данных, если часть параметров недоступна через URL

    Функциональность

    Wizard-создание фильтров через Telegram (inline-кнопки, пошаговые диалоги)

    Гибкие фильтры (цена, локация, ключевые слова, параметры объекта)

    Ежедневный дайджест с батчингом сообщений

    Ручной запуск проверки фильтра

    Логи, статусы источников, обработка ошибок

    Whitelist авторизация по Telegram user_id

    Дополнительно

    Оптимизация под low-latency и стабильность

    Возможность дальнейшего подключения Email / WhatsApp (через провайдера)

    Готовность документировать структуру и передать проект на поддержку

    Могу взять на себя:

    полную реализацию проекта под ключ

    или отдельные части (парсеры, Telegram UI, архитектура, деплой)

    Готов обсудить детали: объем MVP, сроки, формат сотрудничества и бюджет.
    Спасибо за внимание — буду рад обратной связи.

    Translated
    Показать оригинал
    Перевести
     
  7.
    Назар Бондарев
    736    10  0
    10 дней5000 UAH

    Здравствуйте, все это реально разработать, я готов, просто нейронка, которая писала это ТЗ, за пару штук баксов здесь написала twillo как минимум)) Что касается интеграции с WhatsApp, вы должны знать, что это дополнительные расходы ≈10$ в месяц, если использовать неофициальное АПИ, если официальное, цена варьируется в пределах 500$ за 5000 сообщений.

    Translated
    Показать оригинал
    Перевести
     
  8.
    Сергій-Іван Кулиняк
    1017    2  1
    5 дней6000 UAH

    Приветствую! Ознакомился с ТЗ. Задача ясна: нужен стабильный мониторинг площадок с агрессивной анти-фрод защитой (Idealista, Wallapop, Milanuncios).

    Имею большой опыт работы с Playwright и обходом систем защиты уровня DataDome/Cloudflare. Для реализации проекта предлагаю следующий стек:

    Парсинг: Playwright (Chromium-Ghost / Stealth-патчи) для полной имитации поведения реального пользователя. Это позволит обходить проверки на автоматизацию.

    Анти-бан: Настройка ротации резидентных прокси и генерация уникальных фингерпринтов для каждого сеанса.

    Backend: Python (Aiogram 3.x) для управления через Telegram.
    …
    База данных: PostgreSQL для надежного хранения объявлений, истории дедупликации и черного списка продавцов.

    Архитектура: Docker-compose для удобного развертывания на VPS, планировщик задач (APScheduler) для гибкой настройки частоты проверок и рассылки дайджестов.

    Реализую весь функционал: пошаговый конструктор фильтров в TG, глобальный и локальный blacklist продавцов, дедупликацию по ID/URL и ежедневные отчеты.

    Готов обсудить детали: какие именно лимиты по количеству запросов планируются и требуется ли интеграция с платными сервисами решения капчи (на случай их появления).

    Пишите в личные сообщения, обсудим архитектуру и сроки!

     
  9.
    Максим Н.
    1101    7  1
    5 дней1000 UAH

    Привет!

    У меня есть опыт создания ботов для мониторинга и парсинга данных, недавно реализовал похожего бота для автоматического сбора объявлений с сайтов недвижимости с интеграцией Telegram.

    Сделаю бот-парсер на Python с использованием библиотек для парсинга данных (таких как BeautifulSoup или Scrapy) и aiogram для управления через Telegram. Реализую систему фильтров, черный список продавцов, а также формирование ежедневного дайджеста с новыми объявлениями.

    Это обеспечит удобный доступ к актуальным объявлениям без повторений и возможность настройки под специфические потребности. Давайте обсудим детали!

    Translated
    Показать оригинал
    Перевести
     
    10. Еще 3 ставки скрыты
  1. 2936
     22  0

    Альона С.
    14 дней27 000 UAH

    Добрый день!
    Могу разработать Python-бота для автоматического сбора объявлений с Wallapop, Idealista и Milanuncios с нужными параметрами и функцией "минус-продавцы". Бот будет управляемым через Telegram, с полным управлением фильтрами, черным списком, получателями и расписанием отправки.

    Что будет сделано:

    Парсинг новых объявлений по заданным фильтрам;

    Дедупликация и избегание повторных отправок;

    … Исключение "минус-продавцов" по ID, нику, контакту или ссылке;

    Формирование ежедневного дайджеста (Telegram, опционально WhatsApp/Email);

    Управление через Telegram-бота с ролями: Админ, Оператор, Получатель;

    Гибкие фильтры: локация, тип, цена, площадь, количество комнат, ключевые слова, дополнительные параметры;

    Хранение данных в PostgreSQL (или SQLite при небольшом объеме), логирование ошибок, история отправок;

    Возможность запуска через Docker;

    Планирование: парсинг 1–3 раза в день, отправка 1 раз в сутки.

    Гарантирую корректность сбора данных, стабильную работу и возможность дальнейшего масштабирования/добавления новых источников.

    Стоимость 35 000, платежная система фриланса не позволяет ставить ставку выше 27 000, поэтому ставлю 27 000, проект можно разделить на 2.

    Translated
    Показать оригинал
    Перевести
     
  2.
    Данило Мануляк
    2964    14  0
    14 дней15 000 UAH

    Добрый день.
    Проект понятен по логике и объему. Для части источников стоит сразу проверить наличие официальных или полуофициальных API или стабильных JSON endpoint, если они есть, это будет надежнее и безопаснее, чем классический парсинг HTML. Там где API недоступно, можно использовать парсеры с постфильтрацией данных из карточек объявлений.

    Могу предложить реализацию не только на Python, но и на Node.js с Typescript. Такой стек хорошо подходит для Telegram-ботов, фоновых воркеров, планировщиков и масштабирования, плюс удобно работать с PostgreSQL и очередями. Управление через Telegram, роли, whitelist, фильтры, blacklist продавцов, дедупликация и ежедневные дайджесты без проблем укладываются в эту архитектуру. Размещение на VPS, изоляция через Docker Compose, отдельные сервисы для бота, воркеров и базы данных.

    Отправку в Telegram реализую обязательно, Email и WhatsApp можно подключить опционально через провайдера. В интерфейсе Telegram можно сделать пошаговые диалоги и inline-кнопки для удобного управления фильтрами, продавцами и расписанием. Сроки и стоимость предлагаю обсудить в личных сообщениях после уточнения приоритетов по источникам и каналам доставки.

     
  3.
    Максим Іванців
    1993    12  0
    14 дней20 000 UAH

    Добрый день
    У меня большой опыт разработки ботов и парсинга, разрабатывал похожие проекты
    Напишите мне

    Translated
    Показать оригинал
    Перевести
     
  4.
    Ілля Вакулич
    747    2  0
    18 дней10 500 UAH

    Спасибо за подробное ТЗ, ознакомился.

    В целом требования понятны: бот мониторинга объявлений с дедупликацией, blacklist продавцов, гибкими фильтрами и управлением через Telegram, с ежедневной отправкой дайджеста. Архитектура и стек (Python, TG-бот, VPS, Docker, PostgreSQL) мне подходят.

    Готов реализовать рабочее решение на базе MVP либо переработать текущую реализацию, если она нестабильна.

    Для точной оценки сроков и стоимости нужно:
    1. посмотреть текущее MVP (репозиторий / описание архитектуры);
    2. понять, какие источники уже реализованы и в каком состоянии парсеры;
    … 3. уточнить приоритеты (обязательный минимум на первый этап).

    После этого смогу предложить:
    этапы реализации,
    реалистичные сроки,
    стоимость по этапам.

    Готов обсудить детали и начать с аудита текущего решения.

     
  5.
    Владислав Вакал
    122  
    7 дней6000 UAH

    Добрый день! 👋

    Интересен ваш проект Telegram-бота-парсера для сбора новых объявлений.
    У меня есть опыт разработки Python-скриптов с парсингом, обработкой данных и Telegram-ботов, которые отправляют сообщения в чат.

    Чтобы точно оценить сроки и стоимость, уточните, пожалуйста:
    1) с каких именно сайтов нужно парсить объявления?
    2) нужны ли фильтры по категориям/цене/региону?
    3) как часто мы должны проверять сайт на новые объявления?
    … 4) нужно ли сохранять историю / избегать дублирования через базу данных?

    После уточнения дам предложение по срокам и цене.

    Translated
    Показать оригинал
    Перевести
     
  6.
    Den Zahorodnii
    324  
    10 дней8000 UAH

    Здравствуйте.
    Я уже разрабатывал подобную архитектуру для аналитики Steam — там как раз использовал воркеры для сбора данных, очереди и сложную фильтрацию. Поэтому вашу задачу понимаю отлично и знаю, как реализовать это стабильно.

    Translated
    Показать оригинал
    Перевести
     
  7.
    Андрей К.
    95644    1272  1   10
    15 дней27 000 UAH

    Здравствуйте.Есть большой опыт в разработке телеграм ботов.Готов к сотрудничеству

     
  8.
    Tymur Mamyedov
    1803    31  0
    6 дней4000 UAH

    Здравствуйте, готов разработать
    Напишите в лс для обсуждения деталей

     
    9. Еще 4 ставки скрыты

Актуальные фриланс-проекты в категории Python

Телеграм-бот для найма/поиска работников. Для поиска работы

1100 UAH

1. Общая концепция Создание Telegram-бота для автоматизации подбора персонала и двустороннего поиска работы. Система работает по принципу активного отклика и взаимного подтверждения интереса (Double Opt-In). В системе предусмотрены две роли: Работодатель (Владелец фирмы) и…

Python,  Разработка ботов ∙ 11 часов 57 минут назад ∙ 63 ставки

Техническая поддержка веб-платформы (Python/Django)

Есть работающий веб-проект, нужно поддерживать и постепенно приводить в порядок, без переписывания с нуля. Стек проекта: Backend: Python, Django, Django Rest Framework Frontend: Next.js База данных: PostgreSQL Инфраструктура: AWS (EC2), Nginx Есть интеграции с внешними API…

Python,  Веб-программирование ∙ 14 часов 6 минут назад ∙ 52 ставки

Разработка веб-сервиса с платным доступом к онлайн-чату

Добрый день, необходимо разработать веб-сервис, который включает: * персональные ссылки для пользователей; * страницу с описанием услуги; * оплату через PayPal; * онлайн-чат в реальном времени; * отображение видео на странице пользователя; * учет оплаченного времени и…

Python,  Веб-программирование ∙ 1 день 15 часов назад ∙ 70 ставок

Создание приложения

Желаю создать мобильное приложение для общения, в приложении должны быть аудио, видео звонок, создание групповых чатов, возможность синхронизировать с контактами телефона, настройками аккаунта: привязка по email, 2fa, номеру телефона, возможность настраивать уведомления…

Java,  Python ∙ 2 дня 13 часов назад ∙ 36 ставок

Настройка двусторонней интеграции WhatsApp с Odoo CRM

Здравствуйте! Ищем специалиста для реализации технического задания по настройке двусторонней интеграции мессенджера WhatsApp с CRM-системой Odoo. ⚠️ Важное техническое уточнение: Официальный WhatsApp Business API (WABA) не рассматривается. Необходимо внедрить стабильное «серое»…

Python,  Веб-программирование ∙ 2 дня 23 часа назад ∙ 23 ставки

Заказчик
 Павел Ш.
Украина Днепр  2  0
Проект опубликован
4 месяца 24 дня назад
330 просмотров
Метки
  • APScheduler
  • Telegram
  • python
  • docker
  • PostgreSQL