Парсинг данных с Coinmarketcap | Python | Senior Специалист

Здравствуйте, Виталина.
С удовольствием возьмусь за ваш проект. У меня большой опыт в создании парсеров на python+selenium. На python пишу более 4 лет, парсингом данных занимаюсь около 3 лет.

1) У меня на постоянном обслуживании находятся 2 моих многопроцессорных парсера.
Первый парсер существует уже 3 года, он собирает данные с 18 B2B порталов.
Многопроцессорность реализована через менеджер процессов, что дает высокую стабильность и скорость работы парсера.
Я предлагаю вам использовать именно многопроцессорный парсер, а не многопоточный.

2) Selenium имитирует реального пользователя, поставить галочку для него не проблема. Более сложные защиты, например, reCAPTCHA от Google, обходятся через сторонние сервисы, такие задачи тоже приходилось решать.
…
3) С API Google sheets не работал, это обычный REST API, не вижу трудностей в его использовании. Есть опыт работы с pandas для очистки и сортировки данных и создании отчётов в формате xlsx, с использованием всех преимуществ электронных таблиц - цветовое выделение, формат данных и тд.

4) Могу подключить пул прокси к парсеру.

5) Парсер может работать на удаленном сервере и сам процесс парсинга не из быстрых. Удобным решением, особенно для команды или группы, будет использовать уведомления в телеграмм канал о работе парсера.

Привет, Виталий!

Я - опытный Fullstack разработчик с большим опытом парсинга данных на Python. Я решу вашу задачу, оптимизируя старый код и внедрив многопоточность для повышения скорости сбора данных. Обойду защиту на Coinsniper.net с помощью решений для обхода Cloudflare. Также имею опыт работы с API Google Sheets для удобного экспорта. Гарантирую качество и скорость выполнения!

Жду вашего ответа!

Показать оригинал

Перевести

Здравствуйте, готов реализовать данный проект!
Буду рад сотрудничеству!

Добрый день уже имеется опыт работы с CoinMarketCap и Сoingecko.
Пишите в лс обсудим что нужно вам будет выгружать в таблицу.
Опыт работы с таблицами Google имеется.

Добрый день!

Меня заинтересовал ваш проект по парсингу данных с различных ресурсов. Позвольте кратко представить мое предложение:

Опыт и компетенции:

Многопоточный парсинг: Имею значительный опыт разработки многопоточных и асинхронных парсеров на Python с использованием asyncio, aiohttp и threading, что обеспечивает высокую скорость и эффективность сбора данных.

Обход защит: Успешно работал с обходом различных защитных механизмов, включая Cloudflare "Verify yourself as a human". Использую такие инструменты как Selenium, Playwright и специализированные библиотеки (cloudscraper) для обеспечения стабильного доступа к защищенным ресурсам.
…
Интеграция с Google Sheets API: Многократно реализовывал интеграцию с Google Sheets через gspread и официальное API, обеспечивая автоматизированную выгрузку и обновление данных в таблицах.

Подход к проекту:

Анализ существующего кода: Ознакомлюсь с текущей кодовой базой для понимания структуры и особенностей.
Разработка и оптимизация: Создам/доработаю парсеры для 20 ресурсов, обеспечивая устойчивость и эффективность.
Интеграция и автоматизация: Настрою автоматическую выгрузку данных в Google Sheets и базу данных по заданному расписанию.
Поддержка и мониторинг: Обеспечу мониторинг процессов парсинга и быстрое реагирование на возможные сбои или изменения на сайтах.
Буду рад обсудить детали вашего проекта и предложить оптимальное решение. Свяжитесь со мной для дальнейшего обсуждения!

Здравствуйте!
Готов взяться за проект. Опыт в парсинге данных с различных ресурсов на Python есть, включая работу с многопоточностью. Могу настроить парсинг данных с указанного вами списка сайтов, обойти защиту (например, Cloudflare), а также интегрировать выгрузку в Google Sheets и БД.
Да, работал с многопоточностью для ускорения парсинга.
Обход защиты Cloudflare — есть опыт решения таких задач с использованием антикапчи или прокси-серверов.
Работал с Google Sheets API, интегрировал выгрузку данных в таблицы.
Готов приступить сразу.

Добрый день. Готов выполнить.
Имею большой опыт создания парсеров.
Пишу на Python, занимаю 3-е место на платформе.

Реализую парсер для работы с данными в многопотоке. Смогу обойти защиту на требуемом сайте. Подключу необходимые интеграции. Сделаю удобный интерфейс и оптимизирую.

Мое портфолио: Freelancehunt
Пишите, обсудим детали и я приступлю к работе.

Добрый вечер, имею большой опыт в парсинге, сниффинге и реверс-инжиниринге, пишите — сделаем ветер :)

Добрый вечер

Пишите готов обсудить детали

Отвечаю:
1. да работал с многопотоком, и в парсинге и в другом
2. да смогу обойти
3. Да работал с апи гугл таблиц

… Пишите
Готов к работе

Имею огромный опыт скрепинга и массу заверешнных проектов с использованием запросов(requests, aiohttp) и автоматизации с помощью браузера(playwright, pyppeteer, selenium), обход разных видов защиты(akamai, cloudflare) и капч(reCAPTCHA, image captcha, geetest icon captcha, geetest v3/v4 slide captcha, hCAPTCHA, tiktok captcha, funcaptcha, worldfirstcaptcha, cloudflare captcha), выполнение логина и сбор данных под авторизацией(используя куки, токены и сессии)

Добрый день. У меня большой опыт в разнообразном парсинге, взаимодействии с различными API, google sheet, в том числе.
Интересно более подробно узнать о ТЗ.
Буду рад сотрудничеству.

Показать оригинал

Перевести

Добрый день!

Готов взяться за выполнение вашего заказа. Имею опыт работы с многопоточным парсингом данных, обходом защит (включая Cloudflare) и интеграцией с Google Sheets API. Могу обеспечить стабильную выгрузку данных с указанных ресурсов в Google Sheets и базу данных.

Готов обсудить детали и приступить к работе.

Добрый вечер.
1. С парсингом в многопотоке работал.
2. Защуту обходил но не везде. На на сайте Coinsniper.net нужно изучить и протестировать.
3. С API Google sheets знаком, но не работал.