Парсинг данных

Добрый день, имею большой опыт в веб-скрепинге, выполнял проекты разной сложности сбора данных, автоматизация ETL, умею обращаться со всем функционалом (работа с запросами, куками, прокси, юзер-агентами, авторизацией, обход капчи в том числе клаудфлейр), с последующей обработкой и преобразованием данных.

Здравствуйте, ознакомился с вашим ТЗ в нем, все понятно, готов приступать. В ваше коде я бы заменил request на aiohttp, beautifulsoup4 можно заменить на lxml, html5lib или scrapy. Использую систему контроля версий github для каждого проекта, опыт работы с python более 4 лет. Так же недавно выполнял подобный проект с паузами и парсинге объемных данных. Реализую парсинг в рамках правовых и этических норм.
О себе: прописываю грамотную архитектуру для простого деплоя с помощью докер и могу упаковать туда все что нужно, знания bin, bash, zsh на высоком уровне, уверенный пользователь линукс.
Уверенно реализую как веб-интерфейсы так и GUI интерфейсы, можете посмотреть портфолио, https://github.com/sashabodiul и могу лично показать реальные выполненные проекты.(PyQt5, kivy, tkinter, Flask, FastAPI, Django)
По стеку технологий, имею большой бэкграунд
В парсинге использую прокси, user-agent и пропись различных headers при необходимости, умею работать с инспектором, javascript, dom, умею извлекать данные даже с ajax и graphql
Основные библиотеки для парсинга: aiohttp,lxml,bs4,scrapy
Автоматизация web: Selenium
Создание API, на golang и python, GinGo, Flask, FastAPI, RestfulAPI, Swagger
Имею опыт работы с Google sheets и google cloud console
… Умение работать с различными базами sql и nosql.
Решение капч anticaptcha.
Знание потоков Semaphore, threading, concurrent.future. Умение работать с numpy и more_itools а именно chunked для разбиения параллельного скрапинга на равномерные потоки, что очень ускоряет сбор объемных данных
Базовые знания для построения веб интерфейсов
Также из полезных навыков, умею работать с API, умение доставать скрытые API, и работать с xml
PyQuery для работы с html документами
Pyppeteer также для автоматизаций

Доброго времени,

Интересный проект.
Возможно не хватает базы данных или описания механизма работы с данными (как и где их хранить пока используются и нужно ли это ).

В принципе понятна логика,есть примерное решение из коммерческого опыта.
И нужно будет уточнить по законодательству по поводу ресурса,1-возможно у них есть вариант получать эту же информацию в формате xls,csv или просто ссылка на скачивание.
2- насколько легально чекать из сайт без спросу))

… Мои преимущества - есть опыт коммерческий разносторонний в разработке больше 6 лет) и взгляд на проект шире в силу профильного высшего образования.

Мой стек
Python/Django/FastAPI
PostgreSQL +SqlAlchemy + Alembic

Всего хорошего,
С уважением,
Тали.

Заинтересовало предложение, уверен, что соответствую Вашим требованиям, буду рад обратной связи, спасибо

Добрый день,
если интересно могу реализовать на node.js
Есть немалый опыт парсинга разной сложности, пишите обсудим детали.

Добрый день
Имею большой опыт парсинга любой сложности
Напишите мне