Спасибо, всё хорошо, продолжим сотрудничать.
Бюджет: 12500 UAH Срок: 4 дня
😄 Привет,
Я понимаю вашу потребность настроить автоматическую систему парсинга для извлечения новых статей/новостей с указанных сайтов и сохранения их в вашей базе данных, избегая блокировок от Cloudflare или подобных сервисов. Система должна работать по расписанию (cron) и быть развернутой на вашем сервере. Выбор языка программирования гибкий, но Python является логичным вариантом, если нужен безголовый браузер.
Согласно описанию, этот проект похож на тот, над которым я работал недавно. Я отвечал за разработку системы извлечения контента из различных блогов, новостных порталов и онлайн-изданий. Как и в вашем случае, главной задачей было парсинг и сохранение текстового контента статей.
Для этого проекта я использовал Python и библиотеку BeautifulSoup для парсинга HTML. Она отлично подходит для навигации, поиска и изменения дерева разбора. Чтобы автоматически запускать скрипт, я применил встроенный модуль sched в Python для планирования задач, подобно cron job.
Кроме того, для выполнения HTTP-запросов и получения ответов я использовал модуль requests, а для обхода защиты Cloudflare и подобных сервисов – cfscrape.
Для сохранения данных я применил SQLAlchemy – ORM-систему для Python, которая предоставляет мощные инструменты для эффективной работы с базой данных.
Что касается обработки сайтов, использующих JavaScript для рендеринга контента, я использовал Selenium WebDriver вместе с PhantomJS, что позволяло имитировать поведение пользователя в браузере и получать динамический контент.
Чтобы избежать блокировок и соблюдать правила robots.txt, я использовал модуль robotexclusionrulesparser, а для случайных интервалов между запросами – модуль time.
🕒 Я открыт как для частичной, так и для полной занятости, а также гибок относительно часовых поясов. Уверен, что смогу качественно реализовать ваш проект, и уверяю, что вы не будете разочарованы, если мы будем сотрудничать.
С нетерпением жду дальнейшего обсуждения. Спасибо, что ознакомились с моим предложением!
Бюджет: 10000 UAH Срок: 15 дней
Заинтересовал данный проект, выполняю парсинг на Python, оплата по договоренности, буду рад сотрудничеству
9
0
Бюджет: 13000 UAH Срок: 6 дней
Я готов помочь с настройкой системы автоматического парсинга для сбора контента с указанных вами ресурсов. Планирую использовать Python с библиотеками, такими как BeautifulSoup или lxml для парсинга HTML-страниц, а также Selenium или Playwright для обхода защиты типа Cloudflare. Это позволит нам обеспечить надежный парсинг, даже если сайт использует сложные методы защиты.
Парсер будет работать через cron, запускаться раз в час, проверять новые статьи на каждом из ресурсов и собирать только текстовый контент. Результаты будут сохраняться в вашей базе данных. Я также предусмотрю использование прокси или случайных User-Agent для избежания блокировок.
Ориентировочная стоимость проекта составляет 13000 грн, а сроки выполнения — 6 дней, в зависимости от сложности. Я также готов помочь с проектированием структуры базы данных, если это нужно.
Пожалуйста, уточните, какой тип базы данных вы используете, и есть ли уже готовая структура для хранения данных? Если вам подходит мой подход и оценка, давайте обсудим детали.
3
0
Бюджет: 5000 UAH Срок: 5 дней
Здраствуйте , был подобный опыт , пароли 8 новостных порталов для группы телеграмм каналов . Также работал с различными базами данных и не будет проблем , в случае чего , написать код на SQL для работы с вашей бд , работал также с MongoDB . Я быстро пробежался по ссылкам и не могу точно сказать если ли серьезная защита , но тот же Cloudflare я смогу обойти при наличии прокси и других ресурсов . Пишу на С# . Хорошего дня !
Ярослав Жомирук
Победившая ставка
4
0
Бюджет: 5000 UAH Срок: 4 дня
Подивився, все нормально парситься, ніяких проблем не виникло, тож готовий виконати проєкт.
Щодо сервера – як я розумію, у вас є якась база даних, куди потрібно все записувати? Тобто варіантів два: або робити мікросервіс у Docker, до якого буде підключатися ваше API, або ж писати дані прямо в БД безпосередньо.
Ще момент – якщо сайти-джерела змінять структуру, то парсер може почати брати дані некоректно. Треба обговорити, як у таких випадках діяти. Загалом проєкт не складний, але поки що не до кінця зрозуміла архітектура. Якщо підкажете деталі щодо розгортання, можемо швидко все зробити.
2
1
Бюджет: 6000 UAH Срок: 3 дня
Владимир, здравствуйте!
Имею достаточный опыт в парсинге, реализую вашу задачу за 3 рабочих дня.
Буду рад сотрудничеству!
19
0
Бюджет: 9000 UAH Срок: 5 дней
Здравствуйте! Готов выполнить для вас скрипт для автоматического парсинга на питоне с учетом всех перечисленных пунктов.
Предлагаю обсудить детали в личных и я сориентирую по условиям.
Ставки скрыты
В списке не показаны ставки, скрытые заказчиком или фрилансером c профилем Plus, а также ставки, нарушающие правила
