Разработка парсера/скрапера на Python + Selenium

Добрый день

готов выполнить данную работу

Пишите буду рад помочь

Выполню вашу заадчу, уже общались в вами

Добрый день,

Я готов взяться за разработку автоматизированного парсера. Имею опыт работы с Python и Selenium, а также умение интегрировать данные в Notion через API. С учетом предоставленного кода и необходимости доработки для AdHeart.me, считаю, что могу эффективно адаптировать существующие функции и разработать новые для успешного выполнения проекта.

Мой рейт 16$ в час.

Здравствуйте. Имею обширный опыт разработки ботов для парсинга на Python с использованием Selenium. Работу можно разделить на 3 этапа:
1) Парсинг данных с сайтов (Selenium, BeautifulSoup)
2) Обработка и сортировка (Pandas)
3) Отправка результата в Notion

Готов обсудить с вами каждый шаг для того, чтобы иметь общее понимание решения вашей задачи. Буду рад помочь, пишите!

P.S Язык общения на ваше усмотрение(русский, english)

Здравствуйте!
С удовольствием возьмусь за ваш проект!
Большой опыт в этом.
Пишите в ЛС и смотрите портфолио

Здравствуйте

Я разработчик в сфере ML/DL & Web Scraping. Готов выполнить Ваш проект. Напишите мне, обсудим.

Переходя к сути проекта:
Планирую писать собственный механизм парсинга, механизм авторизации доработать из существующего репозитория.

Кратко описывая алгоритм роботы:
1 - Связь с облачным сервером и проверка session overflow для AdHeart.me (Необходимо уточнить подробности косательно пункта 12.5 в ТЗ);
2 - Проверка подключения к указаным сайтам;
3 - Сбор информации из таблиц Notion
3 - Парсинг сайтов указаным в ТЗ алгоритмом. Выгрузка предварительных результатов в кэш (Redis);
4 - Обработка и агрегация данных;
… 5 - Выгрузка в локальную базу (Планируеться использовать PostgreSQL, также учитываються ваши предпочтения)
6 - Проверка доступности Notion API
7 - Выгрузка из базы в Notion

Планирую писать две версии репозитория (prod & dev) для упрощения развертывания и контейнеризации. Писать буду на Python 3.12 (возможно 3.13)

Предролагаемоя структура проекта:
-d services (основные алгоритмы и кастомные либы)
--d scrape
---Facebook (функции и модули для взаимодействия с Facebook)
---AdHeart (функции и модули для взаимодействия с AdHeart )
---scrape_main (основной скрипт для парсинга)
--d Notion
---NotionAPI (взаимодействие с Notion)
-d models (модели для BD)
-d db
--postgresql (основная база)
--redis (кэш)
-d .venv (внутренняя среда)
-d requirements (папка с .txt файлами с зависимостями)
- pyproject.toml (конфиг файл проекта)
- docker-compose
- README.md
- .env (переменные среды)
- main.py (главный файл, деригент проекта)

Следует уточнить тонкие подробности и согласовать детали исполнения и его контроля. Также хочю опсудить этапы проекта и сроки их выполнения.

Здравствуйте.Есть большой опыт в разработке парсеров.Обязательно ли парсить FB Ads?У них есть апи

Здравствуйте. У меня есть практический опыт работы с Python, Selenium, агрегацией данных и интеграциями API, включая Notion. Я готов адаптироваться к предоставленной кодовой базе и расширять её для эффективного выполнения текущих требований. Я ориентируюсь на стабильность, удобство обслуживания и чистую реализацию.

Буду рад обсудить технические детали подробнее.

Показать оригинал

Перевести

Привет! Мы — компания SolidWay и готовы помочь с разработкой автоматизированного парсера на Python с использованием Selenium. Мы обладаем обширным опытом в разработке подобных решений и уверены, что сможем создать эффективный парсер для сбора данных о рекламных объявлениях.

Наша команда уже работала с интеграцией API и парсингом данных, поэтому имеем необходимую экспертизу для выполнения поставленных задач. Мы готовы использовать предоставленную существующую кодовую базу и доработать её для достижения ваших целей.

Обсудим детали проекта, чтобы определить, какой объем работ потребуется и как это соотносится с вашими ожиданиями. Также уточним сроки и бюджет после более глубокого обсуждения задачи.