Бюджет: 550 USD Срок: 14 дней
Добрый день, имею большой опыт в веб-скрепинге, выполнял проекты разной сложности сбора данных, автоматизация ETL, умею обращаться со всем функционалом (работа с запросами, куками, прокси, юзер-агентами, авторизацией, обход капчи в том числе клаудфлейр), с последующей обработкой и преобразованием данных.
Бюджет: 250 USD Срок: 5 дней
Здравствуйте, ознакомился с вашим ТЗ в нем, все понятно, готов приступать. В ваше коде я бы заменил request на aiohttp, beautifulsoup4 можно заменить на lxml, html5lib или scrapy. Использую систему контроля версий github для каждого проекта, опыт работы с python более 4 лет. Так же недавно выполнял подобный проект с паузами и парсинге объемных данных. Реализую парсинг в рамках правовых и этических норм.
О себе: прописываю грамотную архитектуру для простого деплоя с помощью докер и могу упаковать туда все что нужно, знания bin, bash, zsh на высоком уровне, уверенный пользователь линукс.
Уверенно реализую как веб-интерфейсы так и GUI интерфейсы, можете посмотреть портфолио, https://github.com/sashabodiul и могу лично показать реальные выполненные проекты.(PyQt5, kivy, tkinter, Flask, FastAPI, Django)
По стеку технологий, имею большой бэкграунд
В парсинге использую прокси, user-agent и пропись различных headers при необходимости, умею работать с инспектором, javascript, dom, умею извлекать данные даже с ajax и graphql
Основные библиотеки для парсинга: aiohttp,lxml,bs4,scrapy
Автоматизация web: Selenium
Создание API, на golang и python, GinGo, Flask, FastAPI, RestfulAPI, Swagger
Имею опыт работы с Google sheets и google cloud console
Умение работать с различными базами sql и nosql.
Решение капч anticaptcha.
Знание потоков Semaphore, threading, concurrent.future. Умение работать с numpy и more_itools а именно chunked для разбиения параллельного скрапинга на равномерные потоки, что очень ускоряет сбор объемных данных
Базовые знания для построения веб интерфейсов
Также из полезных навыков, умею работать с API, умение доставать скрытые API, и работать с xml
PyQuery для работы с html документами
Pyppeteer также для автоматизаций
Бюджет: 500 USD Срок: 7 дней
Доброго времени,
Интересный проект.
Возможно не хватает базы данных или описания механизма работы с данными (как и где их хранить пока используются и нужно ли это ).
В принципе понятна логика,есть примерное решение из коммерческого опыта.
И нужно будет уточнить по законодательству по поводу ресурса,1-возможно у них есть вариант получать эту же информацию в формате xls,csv или просто ссылка на скачивание.
2- насколько легально чекать из сайт без спросу))
Мои преимущества - есть опыт коммерческий разносторонний в разработке больше 6 лет) и взгляд на проект шире в силу профильного высшего образования.
Мой стек
Python/Django/FastAPI
PostgreSQL +SqlAlchemy + Alembic
Всего хорошего,
С уважением,
Тали.
Бюджет: 120 USD Срок: 4 дня
Заинтересовало предложение, уверен, что соответствую Вашим требованиям, буду рад обратной связи, спасибо
Бюджет: 800 USD Срок: 14 дней
Добрый день,
если интересно могу реализовать на node.js
Есть немалый опыт парсинга разной сложности, пишите обсудим детали.
Бюджет: 250 USD Срок: 3 дня
Добрый день
Имею большой опыт парсинга любой сложности
Напишите мне
