Бюджет: 75 PLN Срок: 1 день
звертайтесь
Тема: Оптимизация скрапинга OLX.pl + Otodom.pl для платного Telegram-бота (минимум трафика/прокси + анализ “как делают бесплатные боты”)
Ищу фрилансера, который поможет с оптимизацией скрапинга OLX.pl и Otodom.pl для Telegram-бота мониторинга объявлений недвижимости в Польше.
Платный сервис мониторинга объявлений недвижимости под критерии пользователя.
Цена: 1 zł/день (~30 zł/месяц) за 1 активный мониторинг (набор фильтров).
Источники: OLX.pl + Otodom.pl (основные польские платформы недвижимости).
Логика рассылки:
каждые 15 мин — проверка (цикл)
за цикл ищем до 5 новых объявлений
отправляем не все сразу, а каждые 3–5 мин 1 объявление, чтобы растянуть нагрузку (за час выходит ~4 цикла)
Есть VPS + Docker, есть скрапер/бот.
База: Supabase, часть логики в Supabase Functions.
Telegram-боты уже есть: отдельно для настроек, отдельно для уведомлений, отдельно для поддержки.
Фото не загружаем (не качаем картинки), берем только:
текст/описание
ссылки
фильтры
ссылки на все изображения(URL), без загрузки файла
Если у нескольких пользователей идентичные фильтры, мы делаем 1 уникальный поиск на всех, без дублирования запросов.
Даже после оптимизаций по фото и “объединения одинаковых поисков”, расходы на прокси высокие, потому что:
страница листинга (результат поиска) может весить ~400–500 KB за запрос
детальная страница объявления (чтобы достать полный описание/параметры, если их нет в листинге) тоже может весить ~500 KB
если на цикл берем до 5 объявлений — общий трафик может быть ~3 MB / 15 мин
это дает примерно ~288 MB/сутки, ~8.6 GB/месяц на 1 уникальный поиск
при условной цене прокси 1 GB = 10 zł выходит, что один активный поиск может стоить дороже, чем подписка клиента (30 zł/мес), особенно если поисков много (16 городов и больше)
Есть момент, который я хочу разобрать:
Я подписан на несколько бесплатных Telegram-ботов/каналов, которые уже месяцами работают по OLX/недвижимости.
Они отправляют сотни сообщений каждый день с новыми объявлениями.
У них нет:
подписки/платных функций
рекламы
очевидной монетизации
При этом расходы на инфраструктуру/прокси у них явно должны быть — но они как-то это делают и не закрываются.
Поэтому нужно понять, как получить “безлимитный трафик” без банов или другой способ получения данных
Бюджет: 75 PLN Срок: 1 день
звертайтесь
Бюджет: 75 PLN Срок: 1 день
Добрый день. Мне кажется, что вы банально не туда воюете. Работаю с OLX уже несколько лет, могу бесплатно проконсультировать.
Буду рад сотрудничеству!Бюджет: 200 PLN Срок: 1 день
Здравствуйте!
Разрабатываю ботов для Телеграма на NodeJS. Готов взяться. Пишите, обсудим.
Бюджет: 500 PLN Срок: 2 дня
Здравствуйте,
Имел опыт сотрудничества с популярным в Варшаве агентством Grand, если знаете. Но там мы делали сбор данных в связке с другими платформами(mls и другие, не совсем помню названия), так же есть сервис, с которого можно собирать дополнительно информацию, даже возможно без proxy. Напишите мне в ЛС, готов помочь тем, чем смогу и проконсультировать.
Буду рад сотрудничеству!
Бюджет: 75 PLN Срок: 1 день
Здравствуйте!
У меня большой опыт в написании парсеров/телеграмм-ботов.
Работаю с python и VPS уже 5 лет.
Помогу вам решить ваш вопрос очень быстро и качественно.
Обращайтесь!
Бюджет: 1700 PLN Срок: 15 дней
Оптимизация скрапинга OLX.pl и Otodom.pl для Telegram-бота требует комплексного подхода к снижению затрат на прокси и обеспечению стабильного доступа к данным. В вашем случае ключевым фактором является уменьшение количества запросов к страницам листингов и детальных объявлений, а также использование эффективных методов получения данных. В частности, можно сосредоточиться на анализе бесплатных ботов, чтобы выявить, как они избегают банов или минимизируют трафик. Например, возможно использование headless браузеров с умным управлением сессиями, интеграция с API платформ (если доступны) или оптимизация логики поиска для минимизации дублирования запросов.
Мой опыт в разработке микросервисов, оптимизации инфраструктуры и работе с Telegram-ботами позволяет предлагать решения, которые снизят нагрузку на прокси. Например, можно внедрить систему управления прокси с автоматическим выбором оптимальных маршрутов, а также использовать кэширование для повторных запросов. Кроме того, для уменьшения трафика можно реализовать более эффективную логику обработки страниц — например, использование парсинга только нужных данных (текста, ссылок) без загрузки полной страницы.
Ключевым этапом будет анализ бесплатных ботов, чтобы выявить технические паттерны, которые позволяют получать данные без высоких затрат. Это может включать использование приватных API, умного управления сессиями или оптимизацию частоты запросов. Также важно учесть возможность интеграции с другими источниками или использование альтернативных методов получения данных, чтобы избежать ограничений платформ. Подход должен быть гибким, адаптированным к вашему графику и бюджету, с учетом масштабирования в случае роста количества пользователей.
Бюджет: 500 PLN Срок: 3 дня
Здравствуйте! Я изучил ваш проект и готов приступить к работе. Уверен, что смогу удовлетворить все ваши ожидания.
Бюджет: 3000 PLN Срок: 3 дня
🤝 Качественное решение вашей задачи — точно в срок
Здравствуйте! Изучил описание вашего проекта и готов приступить к реализации.
Гарантирую глубокое погружение в проект и проработку всех деталей.
Строго соблюдаю дедлайны. Работа будет готова вовремя или раньше.
Всегда на связи и предоставляю отчетность на ключевых этапах.
Жду вашего фидбэка!
Бюджет: 300 PLN Срок: 3 дня
здравствуйте. есть опыт с парсерами олх и подобных сайтов. могу оптимизировать загрузку самой страницы, то есть загружать только нужные поля, или же при возможности через внутренние API сайтов.
Бюджет: 5000 PLN Срок: 5 дней
Здравствуйте! У меня значительный опыт в оптимизации парсеров для масштабных проектов. Работал с OLX и Otodom, понимаю специфику их защиты и лимитов.
📌 Что я предлагаю:
• Анализ текущего кода и выявление "узких мест" в потреблении трафика.
• Внедрение эффективных стратегий использования прокси и ротации User-Agents.
• Оптимизация запросов для минимизации передачи лишних данных.
• Настройка асинхронного парсинга для повышения скорости.
• Интеграция с Telegram-ботом с минимальной задержкой.
Гарантирую качественную оптимизацию, которая снизит ваши расходы на инфраструктуру и прокси.
Бюджет: 350 PLN Срок: 5 дней
работал с парсингом отодом и олх.
пишите все расскажу.
у вас изначально заложена неверная архитектура
_____________________________________
Бюджет: 6000 PLN Срок: 5 дней
Привет,
Я могу помочь вам проанализировать, переработать и значительно сократить затраты на трафик и прокси для скрапинга OLX.pl и Otodom.pl для вашего сервиса мониторинга в Telegram, сохраняя его стабильным и устойчивым к блокировкам. У меня есть практический опыт в высокочастотном скрапинге, оптимизации трафика и уклонении от ботов, особенно для маркетплейсов и объявлений. Ваша текущая архитектура с VPS + Docker, Supabase, объединенными поисками и без загрузки изображений является надежной, поэтому основной задачей является стратегия получения данных и эффективность затрат.
Я бы начал с обратного анализа того, как бесплатные боты OLX/недвижимости работают в долгосрочной перспективе без видимой монетизации. На практике это обычно включает в себя избегание полной загрузки страниц, использование легковесных конечных точек или внутренних API, агрессивное кэширование, проверки на основе различий вместо перезагрузки целых страниц поиска, условную загрузку страниц деталей только при необходимости, отпечатки запросов, имитирующие реальных пользователей, и умное планирование вместо фиксированных интервалов.
Затем я сосредоточусь на сокращении трафика за цикл, а не только на уменьшении использования прокси. Это включает в себя уменьшение размера полезной нагрузки на запрос, устранение ненужного HTML/JS контента, обнаружение новых объявлений без загрузки полных страниц результатов и минимизацию загрузок страниц деталей, извлекая больше данных непосредственно из объявлений.
Наконец, я могу помочь оценить альтернативные пути доступа к данным, такие как скрытые или внутренние конечные точки, используемые фронтендами OLX/Otodom, стратегии прокси с низкой стоимостью или гибридные стратегии, а также кэширование в сочетании с выборочной загрузкой.
Результатом будет четкое объяснение того, как бесплатные боты работают в течение месяцев, конкретный план по значительному снижению ежемесячного трафика, практические рекомендации по поддержанию стабильности бота в масштабах нескольких городов и практические изменения для вашей существующей настройки Docker/Supabase. Я не обещаю "магического неограниченного трафика", но могу помочь вам приблизиться к этому без блокировок, делая модель подписки экономически жизнеспособной.
Буду рад обсудить детали и начать с аудита вашей текущей логики скрапинга.
С наилучшими пожеланиями,
Тобиас
Бюджет: 1000 PLN Срок: 3 дня
Добрый день!
Профессионально разрабатываю Telegram-ботов и скраперы на Python. Имею опыт с API, прокси, Docker/Supabase. Готов проанализировать работу "бесплатных" ботов и оптимизировать скрапинг OLX/Otodom для минимизации трафика.
Напишите мне в личные сообщения, уточним детали.
Необходимо сделать телеграм бота с программой, которая будет мониторить объявления на трех сайтах по аренде квартир (olx, lun, rieltor.ua) и отправлять их структурировано в телеграм
необходимо организовать способ сбора новосозданных ФОПов и по возможности ТОВ. парсинг это, или что-то еще - скажите вы, каким это должен быть способ
Добрый день,Я поручаю создание стабильного и надежного решения для автоматического мониторинга цен и доступности продуктов из конкретного, крупного польского интернет-магазина в области RTV/AGD.Цель проекта: Система должна регулярно проверять выбранные продуктовые ссылки и в случае изменения цены или статуса доступности отправлять уведомление (предпочтительно в Telegram, Discord или по электронной почте – по согласованию).Задача: Сайт магазина имеет очень агрессивные антибот-системы (Akamai/Cloudflare). Обычные скрипты, загружающие код страницы, немедленно обнаруживаются и блокируются. Решение должно эффективно обходить эти защиты, маскировать трафик бота и работать стабильно в долгосрочной перспективе, без постоянного появления ошибок "Access Denied".Что я ожидаю от исполнителя: Предложить полную архитектуру и технологии (я не навязываю язык программирования или конкретные инструменты). Предоставить готовое решение, которое я смогу легко запустить и управлять им. Советы по инфраструктуре (например, какие прокси будут необходимы для бесперебойной работы системы).В ответ на объявление прошу кратко описать: Какой подход/технологию вы предлагаете, чтобы эффективно и в долгосрочной перспективе обходить защиты этого магазина? Как вы видите вопрос передачи уведомлений? Какова ориентировочная стоимость выполнения и срок реализации?Приглашаю к подаче заявок.
О компании Торговая компания. Работаем с товарной группой более 2000 позиций по разным категориям.Текущая ситуация Сейчас номенклатура ведётся в Google Sheets — данные консолидированы по вкладкам (категориям). Структура вкладок: Наименование товара Группы цен: себестоимость, опт, розница Характеристики: вес, количество в упаковке и т.д. Важно: количество колонок отличается для разных категорий товаров, так как у них разные характеристики.Почему текущее решение не подходит Google Sheets не позволяет настраивать права доступа на уровне отдельных колонок. Нам нужно: Давать пользователям права на просмотр определённых колонок (например, только себестоимости) Давать права на редактирование определённых колонок (например, розничных цен) При этом ограничивать доступ к остальным колонкам в той же вкладкеЧто нужно сделатьОсновные требования Гибкая система разграничения прав Доступ на уровне отдельных колонок (чтение / запись) Назначение прав по ролям или пользователям Управление правами без участия программистов Поддержка разной структуры данных Разные категории товаров имеют разный набор характеристик Добавление новых колонок/характеристик без программирования Независимость от разработчиков Администрирование силами внутренних сотрудников Добавление категорий, колонок, пользователей — через интерфейс Интеграция с ERP Выгрузка актуальных цен в нашу ERP-систему Экспорт или автоматическая интеграция по API Анализ данных с помощью ИИ (желательно) Возможность анализа всего перечня номенклатуры Обогащение, проверка, рекомендации — если у вас есть идеи, опишитеОжидаемый результат Работающее решение, в котором: Номенклатура структурирована по категориям с разными наборами характеристик Права на колонки гибко настраиваются (просмотр / редактирование) Данные выгружаются в ERP Команда может управлять системой самостоятельноЧто нужно от вас при отклике Опишите в общих чертах, как вы видите решение: Какой инструмент / платформу предлагаете
Добрый вечер, есть задача: нужно 1-2 раза в день проверять наличие и актуальность цен товаров, которые добавлены на сайт (сайт на платформе prom.ua) с сайта поставщика. Можете рассчитать цену и как это будет выглядеть.