Парсинг сайтів

Привіт! 😊

Гоовий приступити до виконання Вашого завдання!
Для парсингу зазначених сайтів я планую:

Методика: Використання Python з бібліотеками ScraperAPI, BeautifulSoup, Requests, а у випадку динамічних сторінок – Selenium або Scrapy.
Спочатку аналізую структуру кожного сайту, створюю індивідуальні скрипти для збору потрібних даних, далі здійснюю валідацію та збереження інформації у форматі Excel із зручною фільтрацією (за областями, обсягом тощо).

Терміни: Орієнтовно 1-2 дні на кожен сайт, загалом проект може зайняти близько 7-10 робочих днів – залежно від складності ресурсів.
…
Вартість: Вартість проекту розраховується індивідуально

Точну суму узгодимо після детального аналізу завдання.
Готовий обговорити деталі і відповісти на всі питання. Чекаю на можливість співпраці! 🚀🤝

З повагою,
Андрій!

Привіт!

Для виконання парсингу сайтів я пропоную наступний підхід:

Як буде відбуватись парсинг:

Аналіз сайту — спочатку здійснюється огляд структури сайту для визначення необхідних даних (HTML структури, API запити тощо).
Вибір інструментів — для парсингу використовую aiohttp, Scrapy або BeautifulSoup, залежно від складності сайту та вимог до швидкості обробки.
Розробка скрипта — створення скрипту для парсингу, який буде збирати потрібні дані (наприклад, клієнтів, назву, посаду, номер телефону тощо).
… Форматування та збереження — збереження результатів у необхідному форматі (наприклад, Excel, CSV, JSON).
Фільтрація та сортування — якщо потрібно, додам функції фільтрації за певними критеріями (області, розмір землі і т. д.).
Тестування — перевірка коректності роботи парсера, щоб не виникало помилок при зборі даних.

Час на виконання:

Оцінка часу: Парсинг залежить від складності сайту та обсягу даних. Якщо сайт не має складної структури та API, на розробку парсера потрібно близько 1-2 днів для невеликого проекту. Для більш складних сайтів (наприклад, з динамічним контентом) час може збільшитись до 3-5 днів.
Після запуску парсинг може зайняти від кількох хвилин до декількох годин, залежно від обсягу даних на сайті.

Ціна:

Вартість парсингу варіюється в залежності від складності завдання та обсягу даних. Ось приблизна оцінка:
Простий парсинг (статичні сайти, кілька сторінок): 1000грн.
Складний парсинг (динамічні сайти, великі обсяги даних): 1000грн - 2000грн.
Можу запропонувати більш точну оцінку після детального обговорення специфікацій.

Готовий до співпраці та обговорення деталей проекту. Я гарантую якість і своєчасне виконання робіт!

Дякую!

Вітаю!

Зацікавив Ваш проєкт, маю великий досвід роботи в автоматизації/емуляції дій користувача (JavaScript, Selenium, Playwright), асинхронному/багатопотоковому парсингу (Requests, WebSockets, HTTPX, BS4), обробці інформації (Openpyxl, JSON, MySQL, MongoDB) та розробці Telegram-ботів різної складності (Telethon, Pyrogram, Aiogram).

Зв’яжіться зі мною для обговорення деталей та термінів виконання цього проєкту!

😄 Привіт,

Безсумнівно, після перегляду вашого опису вакансії я бачу, що ваш проєкт переважно пов'язаний із веб-скрапінгом, очищенням даних та їх експортуванням. Як досвідчений розробник у цій сфері, я впевнений у своїй здатності виконати це завдання без проблем.

Я використовував Python і бібліотеку BeautifulSoup для парсингу HTML. Вона чудово підходить для навігації, пошуку та модифікації дерева розбору. Для автоматизації виконання скриптів я застосовував вбудований модуль Python sched для планування завдань, аналогічно до cron-завдань.

Крім того, для надсилання HTTP-запитів і отримання відповідей я використовував модуль requests, а для обходу захисту Cloudflare та подібних сервісів працював із cfscrape.

Щодо сайтів, що рендерять контент за допомогою JavaScript, я використовував Selenium WebDriver разом із PhantomJS, що дозволяло мені імітувати поведінку користувача у браузері та отримувати динамічний контент а для обходу захисту Cloudflare та подібних сервісів працював із undetected_chromedriver.
…
Терміни: Орієнтовно 1-2 дні на кожен сайт

Вартість: 700 за сайт

🕒 Я відкритий як до часткової, так і до повної зайнятості, а також гнучкий щодо часових поясів. Я впевнений, що зможу забезпечити якісне виконання вашого проєкту, і гарантую, що ви не будете розчаровані нашою співпрацею.

Буду радий подальшому обговоренню. Дякую, що розглянули мою пропозицію!

Добрий день,

Готовий взятися за парсинг вказаних сайтів. Використаю Selenium або Puppeteer для отримання потрібних даних. Час та вартість проекту залежатимуть від складності структури сайтів і обсягу інформації для парсингу.

Мій рейт 16$ в годину.

Дякую.

Доброго дня!
Маю досвід у створенні парсерів.
Які саме дані потрібно парсити? Час та вартість залежить від об'єму роботи, кількості даних, що необхідні, деталі готова обговорити у пп

Доброго дня!
Пропоную парсинг за допомогою скриптів на Java+Selenium. Заходимо на необхідні сторінки, беремо необхідну інформацію, зберігаємо у базу даних або у гугл-таблицю. З бази потім також можемо формувати наприклад xls-файл.

Щодо термінів виконання - вони залежать від того, що саме ви хочете взяти з цих сайтів. Написання скрипта може зайняти 30-40 хвилин, а його відпрацювання - кілька годин.

По цінах - тут більше факторів. Я оцінюю лише роботу над скриптом. Час самого по собі парсингу (роботи створеного скрипта) практично не враховується, бо майже ніколи не потребує втручання.
Також впливає, який варіант вам потрібен - одноразовий збір інформації, чи регулярний. Для одноразового все простіше і дешевше (за 1000 грн. можна спарсити і кілька сайтів, знову ж таки, залежно від того, що ви хочете зібрати). Якщо вам потрібен регулярний парсинг, для цього можу запропонувати програму, яку ви зможете запускати в потрібний час зі свого комп'ютера. Тут вже ціна буде вища, оскільки це більш довга розробка, яка потребує ще й створення інтерфейсу, а також тестування самої програми за різних умов. Подальша підтримка само собою надається)

Сподіваюся, все достатньо детально описав, але якщо є питання, можемо їх обговорити в особистих повідомленнях (а заразом і деталі вашої задачі). Наразі ставка умовна, про конкретні терміни і суми можна буде домовитися, врахувавши все написане вище.
…
Звертайтеся, буду радий співпраці!

Доброго дня. Зроблю такого бота. Пишіть, буду радий співпрацювати!

Показати оригінал

Перекласти

Всім привіт. Готовий взятися за парсинг сайтів. Чекаю на можливість пояснити деталі та розпочати роботу. Дякую.

Доброго дня!
Напишіть в лс для обговорення деталей. Які дані Вам потрібні з цих сайтів?
Маю досвід розробки парсерів різного роду використовуючи технології Python, Selenium, requests, bs4, playwright.
Остаточна ціна та сроки після того як обговорим проект і визначимо чітке завдання.