Регулярный парсинг данных с сайтов по крону

Бюджет: 12500 UAH Срок: 4 дня

😄 Привет,

Я понимаю вашу потребность настроить автоматическую систему парсинга для извлечения новых статей/новостей с указанных сайтов и сохранения их в вашей базе данных, избегая блокировок от Cloudflare или подобных сервисов. Система должна работать по расписанию (cron) и быть развернутой на вашем сервере. Выбор языка программирования гибкий, но Python является логичным вариантом, если нужен безголовый браузер.

Согласно описанию, этот проект похож на тот, над которым я работал недавно. Я отвечал за разработку системы извлечения контента из различных блогов, новостных порталов и онлайн-изданий. Как и в вашем случае, главной задачей было парсинг и сохранение текстового контента статей.

Для этого проекта я использовал Python и библиотеку BeautifulSoup для парсинга HTML. Она отлично подходит для навигации, поиска и изменения дерева разбора. Чтобы автоматически запускать скрипт, я применил встроенный модуль sched в Python для планирования задач, подобно cron job.

Кроме того, для выполнения HTTP-запросов и получения ответов я использовал модуль requests, а для обхода защиты Cloudflare и подобных сервисов – cfscrape.

Для сохранения данных я применил SQLAlchemy – ORM-систему для Python, которая предоставляет мощные инструменты для эффективной работы с базой данных.

Что касается обработки сайтов, использующих JavaScript для рендеринга контента, я использовал Selenium WebDriver вместе с PhantomJS, что позволяло имитировать поведение пользователя в браузере и получать динамический контент.

Чтобы избежать блокировок и соблюдать правила robots.txt, я использовал модуль robotexclusionrulesparser, а для случайных интервалов между запросами – модуль time.

🕒 Я открыт как для частичной, так и для полной занятости, а также гибок относительно часовых поясов. Уверен, что смогу качественно реализовать ваш проект, и уверяю, что вы не будете разочарованы, если мы будем сотрудничать.

С нетерпением жду дальнейшего обсуждения. Спасибо, что ознакомились с моим предложением! Развернуть

Бюджет: 10000 UAH Срок: 15 дней

Заинтересовал данный проект, выполняю парсинг на Python, оплата по договоренности, буду рад сотрудничеству

Бюджет: 13000 UAH Срок: 6 дней

Я готов помочь с настройкой системы автоматического парсинга для сбора контента с указанных вами ресурсов. Планирую использовать Python с библиотеками, такими как BeautifulSoup или lxml для парсинга HTML-страниц, а также Selenium или Playwright для обхода защиты типа Cloudflare. Это позволит нам обеспечить надежный парсинг, даже если сайт использует сложные методы защиты.

Парсер будет работать через cron, запускаться раз в час, проверять новые статьи на каждом из ресурсов и собирать только текстовый контент. Результаты будут сохраняться в вашей базе данных. Я также предусмотрю использование прокси или случайных User-Agent для избежания блокировок.

Ориентировочная стоимость проекта составляет 13000 грн, а сроки выполнения — 6 дней, в зависимости от сложности. Я также готов помочь с проектированием структуры базы данных, если это нужно.

Пожалуйста, уточните, какой тип базы данных вы используете, и есть ли уже готовая структура для хранения данных? Если вам подходит мой подход и оценка, давайте обсудим детали.

Бюджет: 5000 UAH Срок: 5 дней

Здраствуйте , был подобный опыт , пароли 8 новостных порталов для группы телеграмм каналов . Также работал с различными базами данных и не будет проблем , в случае чего , написать код на SQL для работы с вашей бд , работал также с MongoDB . Я быстро пробежался по ссылкам и не могу точно сказать если ли серьезная защита , но тот же Cloudflare я смогу обойти при наличии прокси и других ресурсов . Пишу на С# . Хорошего дня !

Бюджет: 6000 UAH Срок: 3 дня

Владимир, здравствуйте!
Имею достаточный опыт в парсинге, реализую вашу задачу за 3 рабочих дня.
Буду рад сотрудничеству!

Бюджет: 9000 UAH Срок: 5 дней

Здравствуйте! Готов выполнить для вас скрипт для автоматического парсинга на питоне с учетом всех перечисленных пунктов.

Предлагаю обсудить детали в личных и я сориентирую по условиям.