Парсинг даних з Coinmarketcap | Python | Старший Спеціаліст
25 834 UAH
Добрий день.
Шукаємо Senior спеціаліста і вище з великим досвідом у парсингу даних, бажано на python, оскільки є старий код, написаний іншим розробником
Нам потрібно на постійній основі парсити дані приблизно з двадцяти різних ресурсів.
Це такі ресурси як CoinMarketCap.com, Сoingecko.com, Сoinsniper.net і вивантажувати їх у Google sheets та БД
Хотів би дізнатися відповіді на три питання:
1. Працювали ви коли-небудь з парсингом даних у багатопоточному режимі?
2. Чи зможете ви парсити дані та обійти захист на сайті Coinsniper.net (це важливий ресурс для нас)?
Наприклад, такі як Сloudflare "Verify yourself as a human", який з'являється на Coinsniper.net на цьому сайті, або інші захисти від парсингу.
3. Працювали ви коли-небудь з API Google sheets?
-
1 день25 834 UAH1 день25 834 UAH
Привіт, з якою періодичністю потрібно парсити дані?
1. Так, можу надати приклади
2. Маю досвід обходу Cloudflare, але потрібно додатково вивчити окремий ресурс, тому що сайти можуть мати різні налаштування/правила захисту
3. Так, але API Google Sheets має ліміти, якщо ми говоримо про велику кількість даних, то варто розглянути БД
Можемо обговорити подальші деталі в особистих повідомленнях. Буду рада співпраці.
-
5 днів25 834 UAH5 днів25 834 UAH
Привіт!
З радістю попрацюю над вашим проектом.
Створю бота, наповню потрібним функціоналом. Працюю до повного затвердження.
Напишіть мені в особисті повідомлення, обговоримо деталі.
Вартість послуг - не догма, а привід для обговорення. -
7 днів25 834 UAH
953 5 0 7 днів25 834 UAHПривіт, Віталіно.
З задоволенням візьмуся за ваш проект. У мене великий досвід у створенні парсерів на python+selenium. На python пишу більше 4 років, парсингом даних займаюся близько 3 років.
1) У мене на постійному обслуговуванні знаходяться 2 моїх багатопроцесорних парсери.
Перший парсер існує вже 3 роки, він збирає дані з 18 B2B порталів.
Багатопроцесорність реалізована через менеджер процесів, що дає високу стабільність і швидкість роботи парсера.
Я пропоную вам використовувати саме багатопроцесорний парсер, а не багатопотоковий.
2) Selenium імітує реального користувача, поставити галочку для нього не проблема. Більш складні захисти, наприклад, reCAPTCHA від Google, обходяться через сторонні сервіси, такі задачі теж доводилося вирішувати.
…
3) З API Google sheets не працював, це звичайний REST API, не бачу труднощів у його використанні. Є досвід роботи з pandas для очищення і сортування даних і створення звітів у форматі xlsx, з використанням усіх переваг електронних таблиць - кольорове виділення, формат даних тощо.
4) Можу підключити пул проксі до парсера.
5) Парсер може працювати на віддаленому сервері і сам процес парсингу не з швидких. Зручним рішенням, особливо для команди або групи, буде використовувати сповіщення в телеграм-канал про роботу парсера.
-
7 днів25 783 UAH
484 0 1 7 днів25 783 UAHПривіт, Віталіно!
Я - досвідчений Fullstack розробник з великим досвідом парсингу даних на Python. Я вирішу вашу задачу, оптимізуючи старий код і впровадивши багатопоточність для підвищення швидкості збору даних. Обійду захист на Coinsniper.net за допомогою рішень для обходу Cloudflare. Також маю досвід роботи з API Google Sheets для зручного експорту. Гарантую якість і швидкість виконання!
Чекаю вашої відповіді!
-
7 днів25 834 UAH
445 28 1 7 днів25 834 UAHПривіт, готовий реалізувати цей проект!
Буду радий співпраці!
-
7 днів25 834 UAH
1806 34 3 7 днів25 834 UAHДоброго дня, вже є досвід роботи з CoinMarketCap та Coingecko.
Пишіть в лс, обговоримо, що потрібно вам буде вивантажити в таблицю.
Досвід роботи з таблицями Google є.
-
7 днів25 834 UAH
489 3 1 1 7 днів25 834 UAHДобрий день!
Мене зацікавив ваш проект по парсингу даних з різних ресурсів. Дозвольте коротко представити мою пропозицію:
Досвід і компетенції:
Багатопотоковий парсинг: Маю значний досвід розробки багатопотокових і асинхронних парсерів на Python з використанням asyncio, aiohttp і threading, що забезпечує високу швидкість і ефективність збору даних.
Обхід захистів: Успішно працював з обходом різних захисних механізмів, включаючи Cloudflare "Verify yourself as a human". Використовую такі інструменти як Selenium, Playwright і спеціалізовані бібліотеки (cloudscraper) для забезпечення стабільного доступу до захищених ресурсів.
…
Інтеграція з Google Sheets API: Багаторазово реалізовував інтеграцію з Google Sheets через gspread і офіційне API, забезпечуючи автоматизовану вивантаження і оновлення даних у таблицях.
Підхід до проекту:
Аналіз існуючого коду: Ознайомлюсь з поточною кодовою базою для розуміння структури і особливостей.
Розробка і оптимізація: Створю/допрацюю парсери для 20 ресурсів, забезпечуючи стійкість і ефективність.
Інтеграція і автоматизація: Налаштую автоматичну вивантаження даних у Google Sheets і базу даних за заданим розкладом.
Підтримка і моніторинг: Забезпечу моніторинг процесів парсингу і швидке реагування на можливі збої або зміни на сайтах.
Буду радий обговорити деталі вашого проекту і запропонувати оптимальне рішення. Зв'яжіться зі мною для подальшого обговорення!
-
12 днів25 834 UAH
2923 26 0 12 днів25 834 UAHДоброго дня!
Готовий взятися за проект. Є досвід парсингу даних з різних ресурсів на Python, включаючи роботу з багатопоточністю. Можу налаштувати парсинг даних з вказаного вами списку сайтів, обійти захист (наприклад, Cloudflare), а також інтегрувати вивантаження в Google Sheets та БД.
Так, працював з багатопоточністю для прискорення парсингу.
Обхід захисту Cloudflare — є досвід вирішення таких задач з використанням антикапчі або проксі-серверів.
Працював з Google Sheets API, інтегрував вивантаження даних у таблиці.
Готовий розпочати одразу.
-
7 днів25 834 UAH
8867 60 0 1 7 днів25 834 UAHДобрий день. Готовий виконати.
Маю великий досвід створення парсерів.
Пишу на Python, займаю 3-є місце на платформі.
Реалізую парсер для роботи з даними в багатопотоці. Зможу обійти захист на потрібному сайті. Підключу необхідні інтеграції. Зроблю зручний інтерфейс і оптимізую.
Моє портфоліо:
Freelancehunt
Пишіть, обговоримо деталі і я приступлю до роботи.
-
1 день51 669 UAH
344 23 1 1 день51 669 UAHДобрий вечір, маю великий досвід у парсингу, сніфінгу та реверс-інжинірингу, пишіть — зробимо вітер :)
-
1 день25 834 UAH
3482 50 0 1 день25 834 UAHДобрий вечір
Пишіть, готовий обговорити деталі
Відповідаю:
1. так, працював з багатопоточністю, і в парсингу, і в іншому
2. так, зможу обійти
3. Так, працював з API Google Таблиць
… Пишіть
Готовий до роботи
-
30 днів51 669 UAH
1069 10 0 30 днів51 669 UAHМаю величезний досвід скрепінгу та масу завершених проектів з використанням запитів (requests, aiohttp) та автоматизації за допомогою браузера (playwright, pyppeteer, selenium), обходу різних видів захисту (akamai, cloudflare) та капч (reCAPTCHA, image captcha, geetest icon captcha, geetest v3/v4 slide captcha, hCAPTCHA, tiktok captcha, funcaptcha, worldfirstcaptcha, cloudflare captcha), виконання логіна та збору даних під авторизацією (використовуючи куки, токени та сесії)
-
10 днів25 834 UAH
6425 74 1 10 днів25 834 UAHДоброго дня. Маю великий досвід в різноманітному парсінгу, взаємодії з різноманітними API, google sheet, в тому числі.
Цікаво більш детально дізнатись про ТЗ.
Буду радий співпраці.
-
20 днів25 834 UAH
342 1 0 20 днів25 834 UAHДоброго дня!
Готовий взятися за виконання вашого замовлення. Маю досвід роботи з багатопотоковим парсингом даних, обходом захистів (включаючи Cloudflare) та інтеграцією з Google Sheets API. Можу забезпечити стабільну вивантаження даних з вказаних ресурсів у Google Sheets та базу даних.
Готовий обговорити деталі та розпочати роботу.
-
13 днів25 834 UAH
2737 76 1 13 днів25 834 UAHДобрий вечір.
1. З парсингом у багатопоточному режимі працював.
2. Захист обходив, але не скрізь. На сайті Coinsniper.net потрібно вивчити та протестувати.
3. З API Google sheets знайомий, але не працював.
-
Старый парсер работает или нет? Я к тому, что надо решать проблемы с анти-бот системами или дорабатывать функционал?
-
уже год не включался
думаю, надо будет дорабатывать
решать сложности, да -
ну эти, считай, делать с нуля)
-
Уже пора перестать страдать хернёй с обходом капчи, и использовать api сервисов.
-
из 3 два дают айпи, а 1 не дает, думаю в этом весь вопрос
-
Актуальні фриланс-проєкти в категорії Python
Створити бот в телеграм (кабінет продавця)
700 UAH
Всім привіт Потрібен особистий кабінет користувача в форматі бота в телеграм Після запуску та проходження опитування, під користувача створюється особистий кабінет (його допускає в систему на подальші кнопки) Щоб до кожного хто зареєструвався висвічувалося в окремому меню… Python, Розробка ботів ∙ 2 години 42 хвилини тому ∙ 63 ставки |
Знайти товарний фід (Google Merchant XML) для сайту на OpenCart
700 UAH
Необхідно знайти пряме посилання на діючий товарний фід (XML) конкурента для Google Merchant Center Платформа (CMS): OpenCart / ocStore Знайти оригінальний фідВимоги до результату: Робоче посилання на XML-файл Python, Парсинг даних ∙ 12 годин 46 хвилин тому ∙ 19 ставок |
Розробка Тік-Ток ферми (контент-завод)Необхідно розробити систему для централізованого управління кількома TikTok-акаунтами з автоматичною публікацією контенту, використанням індивідуальних проксі та імітацією природної активності акаунтів. Функціональні вимоги1. Управління акаунтами Додавання та видалення… Python, Розробка ботів ∙ 1 день тому ∙ 15 ставок |
Покращити роботу Claude Code та роботу з написанням програмного забезпеченняЗараз розробляю СРМ та Аналітику, софт. Роблю через Клод Код, але розумію, що результати не найкращі в плані змін. Є 2 задачі - Потрібно допомогти зробити пресет по навичкам, мд і так далі, щоб покращити якість. Взяти перевірені, з якими працювали, а не з інтернету перші. - В… AI та машинне навчання, Python ∙ 1 день 6 годин тому ∙ 21 ставка |
Система OCRПотрібна система розпізнавання тексту на поштових конвертах (індекс кому - лише числа). Текст інколи може бути рукописним Розпізнавання марок (підрахунок кількості та номіналу) Python ∙ 1 день 9 годин тому ∙ 24 ставки |