Регулярний парсинг даних з сайтів за кроном

Бюджет: 12500 UAH Термін: 4 дні

😄 Привіт,

Я розумію вашу потребу налаштувати автоматичну систему парсингу для витягування нових статей/новин із вказаних сайтів та збереження їх у вашій базі даних, уникаючи блокувань від Cloudflare чи подібних сервісів. Система має працювати за розкладом (cron) і бути розгорнутою на вашому сервері. Вибір мови програмування гнучкий, але Python є логічним варіантом, якщо потрібен безголовий браузер.

Згідно з описом, цей проєкт схожий на той, над яким я працював нещодавно. Я відповідав за розробку системи вилучення контенту з різних блогів, новинних порталів та онлайн-видань. Як і у вашому випадку, головним завданням було парсинг і збереження текстового контенту статей.

Для цього проєкту я використовував Python і бібліотеку BeautifulSoup для парсингу HTML. Вона чудово підходить для навігації, пошуку та зміни дерева розбору. Щоб автоматично запускати скрипт, я застосував вбудований модуль sched у Python для планування завдань, подібно до cron job.

Крім того, для виконання HTTP-запитів і отримання відповідей я використовував модуль requests, а для обходу захисту Cloudflare та схожих сервісів – cfscrape.

Для збереження даних я застосував SQLAlchemy – ORM-систему для Python, яка надає потужні інструменти для ефективної роботи з базою даних.

Щодо обробки сайтів, що використовують JavaScript для рендерингу контенту, я використовував Selenium WebDriver разом із PhantomJS, що дозволяло імітувати поведінку користувача в браузері та отримувати динамічний контент.

Щоб уникнути блокування та дотримуватися правил robots.txt, я використовував модуль robotexclusionrulesparser, а для випадкових інтервалів між запитами – модуль time.

🕒 Я відкритий до як часткової, так і повної зайнятості, а також гнучкий щодо часових поясів. Впевнений, що зможу якісно реалізувати ваш проєкт, і запевняю, що ви не будете розчаровані, якщо ми співпрацюватимемо.

З нетерпінням чекаю на подальше обговорення. Дякую, що ознайомилися з моєю пропозицією! Розгорнути

Бюджет: 10000 UAH Термін: 15 днів

Зацікавив даний проєкт, виконую парсинг на Python, оплата за домовленістю, буду радий співпраці

Бюджет: 13000 UAH Термін: 6 днів

Я готовий допомогти з налаштуванням системи автоматичного парсингу для збору контенту з вказаних вами ресурсів. Планую використовувати Python з бібліотеками, такими як BeautifulSoup або lxml для парсингу HTML-сторінок, а також Selenium або Playwright для обходу захисту типу Cloudflare. Це дозволить нам забезпечити надійний парсинг, навіть якщо сайт використовує складні методи захисту.

Парсер буде працювати через cron, запускатиметься раз на годину, перевірятиме нові статті на кожному з ресурсів і збиратиме тільки текстовий контент. Результати будуть зберігатися у вашій базі даних. Я також передбачу використання проксі чи випадкових User-Agent для уникнення блокувань.

Орієнтовна вартість проекту складає 13000 грн, а строки виконання — 6 днів, залежно від складності. Я також готовий допомогти з проектуванням структури бази даних, якщо це потрібно.

Будь ласка, уточніть, який тип бази даних ви використовуєте, та чи є вже готова структура для зберігання даних? Якщо вам підходить мій підхід і оцінка, давайте обговоримо деталі.

Бюджет: 5000 UAH Термін: 5 днів

Привіт, був подібний досвід, паролі 8 новинних порталів для групи телеграм-каналів. Також працював з різними базами даних і не буде проблем, у разі чого, написати код на SQL для роботи з вашою БД, працював також з MongoDB. Я швидко пробігся по посиланнях і не можу точно сказати, чи є серйозна захист, але той же Cloudflare я зможу обійти при наявності проксі та інших ресурсів. Пишу на C#. Гарного дня!

Бюджет: 6000 UAH Термін: 3 дні

Володимир, доброго дня!
Маю достатній досвід у парсингу, реалізую ваше завдання за 3 робочі дні.
Буду радий співпраці!

Бюджет: 9000 UAH Термін: 5 днів

Привіт! Готовий виконати для вас скрипт для автоматичного парсингу на питоні з урахуванням усіх перерахованих пунктів.

Пропоную обговорити деталі в особистих, і я зорієнтую по умовах.