Парсинг данных

Бюджет: 25000 UAH Срок: 14 дней

Здравствуйте. Реализую архитектуру для сбора данных с 10+ доноров на Python с прямой записью в MySQL и загрузкой медиа на сервер. Для обхода Cloudflare и прохождения авторизации применю асинхронный Playwright / undetected_chromedriver в связке с пулом резидентных прокси и ротацией сессий (подобную логику мультиаккаунтинга и обхода защиты успешно внедрял для арбитражных ботов на 100+ профилей). Готова ли у вас инфраструктура прокси, или это нужно заложить в смету? Жду ТЗ и ссылку на самого сложного донора для оценки.

Бюджет: 7500 UAH Срок: 7 дней

👋 Привет!😄

Парсеры — моя основная специализация, в частности сайты с авторизацией и с анти-бот защитой (Cloudflare).

🛠 Как сделаю:
• Обход Cloudflare + авторизация: Python (httpx/requests + cloudscraper, при необходимости Playwright / undetected-chromedriver со stealth), сохранение сессий и куков, управление хедерами/UA.
• 10+ доноров → парсинг товаров и маппинг полей под вашу существующую MySQL-структуру; фото выгружаю на сервер.
• Устойчивость: обработка ошибок, ретраи, логирование, донор за донором строго по ТЗ.

Отправьте, пожалуйста, ТЗ + пример одного донора — уточню точный срок и сразу возьму самого простого в работу как демо.

🎥 Мои работы: Freelancehunt

Обращайтесь! Развернуть

Бюджет: 7777 UAH Срок: 7 дней

Здравствуйте.
У меня большой опыт в написании таких парсеров/скрабберов.
Делаю качественно и в сроки.
Пишите, с удовольствием пообщаюсь по поводу Вашего задания.

Бюджет: 7777 UAH Срок: 7 дней

Добрый день.

Реализую разработку парсеров на базе Python с упором на обход систем защиты и работу в многопоточном режиме. Поскольку ключевая сложность проекта заключается в обходе Cloudflare и авторизации, архитектура скриптов будет построена вокруг инструментов, которые полностью имитируют поведение реального пользователя.

Десктопные решения и C# не использую — софт будет разработан как консольные скрипты, готовые к запуску на сервере (VPS/VDS) по расписанию (Cron).

Техническое решение
Обход Cloudflare и авторизация:

Для сайтов с базовой защитой и сессионной авторизацией использую библиотеку CloudScraper или curl_cffi, которые умеют подменять TLS/JA3-отпечатки браузера.

Для сложных доноров с «тяжелой» защитой Cloudflare (Turnstile, инъекции JS) подключу автоматизацию через Playwright или Selenium в сервисном (headless) режиме, совместно с библиотекой Undetected Chromedriver.

Реализую логику сохранения и обновления сессионных кук (cookies), чтобы скрипт выполнял авторизацию только по необходимости, а не при каждом запросе к товару.

Обязательно подключу ротацию элитных резидентских или мобильных прокси через пул загрузок для предотвращения бана по IP.

Парсинг и сохранение в MySQL:

Напишу четкие селекторы (BeautifulSoup/lxml) для сбора характеристик, цен, артикулов и описаний товаров.

Интегрирую коннектор к вашей базе данных через ORM SQLAlchemy или PyMySQL. Данные перед импортом будут проходить валидацию и нормализацию, чтобы полностью соответствовать структуре и типам полей вашей текущей БД.

Реализую проверку дубликатов (по артикулу или ID донора), чтобы обновлять существующие товары (например, актуализировать цену) и добавлять только новые.

Загрузка фотографий на сервер:

Скачивание изображений будет происходить асинхронно (aiohttp или httpx) для максимальной скорости.

Скрипт автоматически переименовывать файлы по вашему стандарту (например, подставляя артикул товара) и будет сохранять их в указанные папки на сервере, а относительные пути к фото записывать в соответствующие ячейки MySQL.

Что необходимо для старта и оценки:
Надошлите, пожалуйста, техническое задание в личные сообщения.

Предоставьте пример 1–2 самых сложных сайтов-доноров, чтобы я мог оценить тип защиты Cloudflare и логику авторизации.

Какая приблизительно количество товаров ожидается к парсингу из одного источника?

Готов обсудить детали, после изучения ТЗ сформулирую точные сроки и бюджет для каждого донора. Развернуть

Бюджет: 18000 UAH Срок: 5 дней

Стоимость - 7777 грн, скорее всего, не покроет 10+ доноров с авторизацией, защитой и загрузкой фото в MySQL. Я бы предложил не сжигать бюджет на угадывание, а начать с первого этапа - аудит ТЗ, проверка 1 донора, схема импорта в вашу базу и рабочий прототип. Ориентир такого этапа - 18000 грн и 5 рабочих дней.

Смотрите, тут нюанс - CLOUDFRAME или Cloudflare нужно проверять по каждому донору отдельно. Универсального честного переключателя здесь нет, и я не буду обещать магию ради красивой ставки =/ Работаем только с теми источниками, где у вас есть право на авторизованный доступ и сбор данных.

> По реализации вижу это как серверный парсер без десктопных программ и без C#
> авторизация по каждому донору
> нормализация товаров под вашу существующую базу MySQL
> загрузка фото на сервер
> очередь задач, логирование ошибок, повторы, контроль изменений цен и остатков
> после первого донора - точная оценка остальных 10+ источников

Чтобы оценить уже весь объем, нужны 2 вопроса.
> можете отправить ТЗ и 1 пример донора
> у вас уже есть описание структуры MySQL или доступная схема таблиц для просмотра

Схожие по типу задач кейсы Ingello
> https://business.ingello.com/prime-eva - товарные данные, ритейл, системная работа с каталогом
> https://business.ingello.com/eva - электронная коммерция и сложные интеграционные задачи
> https://business.ingello.com/forma-crm - бизнес-логика, база данных, процессы и контроль операций

Главная страница для FLH - https://systems-fl.ingello.com/ua Развернуть

Бюджет: 7777 UAH Срок: 1 день

Иван, могу реализовать парсеры для защищенных доноров с авторизацией и Cloudflare, адаптировать их под вашу MySQL-базу и загрузку фото на сервер. Работаю с автоматизацией браузера и сложными e-commerce источниками, так что смогу учесть разный уровень защиты и структурировать данные под ТЗ. Если вышлете пример донора, быстро оценю подход и риски.

Бюджет: 7777 UAH Срок: 1 день

Привет, Иван! Здесь главное не написать парсер, а удержать его живым - на сайтах с авторизацией и Cloudflare обычный запрос умирает сразу, нужна живая браузерная сессия с прокси-ротацией и отдельный адаптер под каждого донора, чтобы один сайт не валил всю систему. Я бы стартовал пилотом не с простого, а с наиболее защищенного донора - именно он показывает потолок проекта: удерживаем его - остальные девять пойдут тем же каркасом. Так вы сразу видите качество данных прямо в своей базе и не платите за кота в мешке. Пришлите ТЗ и пример одного донора - гляну реальный уровень защиты и назову четкие сроки и цену по этапам.

Бюджет: 7777 UAH Срок: 1 день

Для оценки нужно осмотреть сайты. Ориентировочная стоимость от 3000 за 1 сайт

Бюджет: 7777 UAH Срок: 1 день

Доброго дня! Загалом завдання зрозуміле, для точної відповіді за термінами та ціною, хотілося б уточнити деякі питання, які у мене виникли після аналізу вашого завдання. Пишіть у приватні повідомлення – обговоримо деталі та ваші побажання.

Бюджет: 7777 UAH Срок: 14 дней

Доброго дня! Парсинг с сайтов с авторизацией и обходом Cloudflare — постоянно этим занимаюсь на Python, данные пишу в MySQL и фото складываю на сервер. 10+ доноров с разной защитой нормально разберу, метод подбираю под каждого отдельно. Скиньте ТЗ и пример одного донора — гляну уровень защиты и скажу точнее по срокам. Базовую партию ориентировочно за полтора-два недели сделаю.

Бюджет: 7777 UAH Срок: 14 дней

Иван, обход анти-бота на сайтах с авторизацией - это не задача уровня "напишу скрипт на requests". Здесь другая природа. Нужно держать живую сессию: логиниться, сохранять куки, подмешивать реалистичный отпечаток браузера, а когда донор отдает JS-челлендж или что-то в стиле Cloudflare Turnstile - поднимать headless-браузер и проходить проверку уже там. Голый HTTP-клиент такой сайт отсеет на первом же запросе.

Второе, что видно из описания. 10+ доноров различной сложности - это не один универсальный парсер. Один парсер под всех здесь ломается постоянно: у каждого донора своя разметка, своя авторизация, свой уровень защиты. Рабочая схема - ядро плюс адаптер под каждого донора отдельно. Очередь донор - адаптер - нормализация - запись в MySQL и фото на сервер. Ядро держит сессии, прокси, ретраи; адаптер знает только, как вытащить данные с конкретного сайта. Добавить нового донора потом - это написать один адаптер, а не переписывать все.

Несколько вопросов по сути, чтобы не гадать. Что там за защита на самом деле - простой JS-редирект или полноценный Turnstile / hCaptcha? Авторизация на каждом доноре это логин-пароль или есть API-токен? Фото качаются по прямому URL, или тоже закрыты за сессией?

Делал бы так. Сначала один донор пилотом - беру средний по сложности, довожу полный цепочку до записи в вашу базу, показываю качество данных. Вы смотрите, что структура ложится под существующую БД без боли - и тогда раскатываем на остальные девять с тем же каркасом.

Стек - Python, никакого десктопа и C#, тут мы сошлись.

Портфолио для оценки инженерного уровня: siteforsites.com и accessibilityscanner.top - там видно работу с сессиями, очередями и аптаймом сервисов, а не одноразовые скрипты. Рейтинг у меня пока скромный, так что интерес прямой - сделать чисто и зайти к вам в постоянные отзывы, а не сорвать предоплату и исчезнуть.

Скиньте ТЗ и пример одного донора в переписку - гляну реальную защиту и скажу конкретно, с чего начинать пилот. Развернуть

Бюджет: 7777 UAH Срок: 7 дней

Привет, я работал над парсером для агрегатора цен — обходил защиту CLOUDFLARE и собирал данные с 15+ сайтов с авторизацией, парсил 50 000+ товаров с фото прямо в MySQL.

Скажите, а доноры имеют защиту типа reCAPTCHA или достаточно обхода CLOUDFLARE + авторизации через сессии? И нужно ли регулярное обновление данных (например, ежедневный запуск парсера)?

Предлагаю связаться, я бесплатно проконсультирую вас с технической стороны и составим план разработки + расскажу о моей команде!

Бюджет: 7777 UAH Срок: 5 дней

Иван, если нужен парсер, который стабильно работает с авторизацией, различными уровнями защиты и адаптацией под вашу MySQL-базу, я могу взять это в работу. У меня есть опыт с Laravel/Vue и интеграциями в существующие системы, так что смогу не только собрать товары и фото, но и подстроить структуру данных под сайт. Могу начать с анализа ТЗ и одного донора, чтобы быстро оценить сложность и предложить надежное решение.

Бюджет: 27000 UAH Срок: 75 дней

Добрый день. Могу разработать серверные парсеры на Python для авторизованных источников, адаптировать данные под существующую MySQL-базу и настроить загрузку фотографий на сервер. Уточните:
1. Какой стек уже используется в существующих парсерах и на сервере?
2. Какие типы авторизации используют доноры: логин/пароль, токены, 2FA?
3. Какова структура таблиц MySQL и есть ли готовое маппирование полей?
4. Как часто нужно обновлять товары, цены, остатки и фотографии?
5. Есть ли приоритетный донор для первого этапа?
6. Какой ориентировочный объем товаров по каждому сайту?

Бюджет: 7777 UAH Срок: 5 дней

Здравствуйте! Обход Cloudflare + сайты с авторизацией + 10+ доноров в MySQL — это моя повседневная работа. Я делал десктопный парсер-агрегатор, который собирает товары сразу с нескольких площадок, устойчивый к изменению верстки, с дедупликацией и выгрузкой в структурированный отчет — здесь та же механика, только под ваши источники и MySQL.

Как сделаю: под каждого донора — отдельный адаптер; логин сохраняется между запусками (постоянная сессия); Cloudflare / Turnstile прохожу через стелс-браузер (Playwright в headful / undetected), при необходимости — резидентные прокси. Товары нормализуются в единую схему → MySQL, фото загружаются на сервер. Добавлю ретраи, контроль скорости и логирование, чтобы парсинг не падал на защите.

Доноры разные по сложности, так что предлагаю начать с 2–3 (включая одного сложного на Cloudflare), показать рабочий результат — и дальше подключать остальные партиями. Примеры моих парсеров покажу по запросу.

— Николай

Бюджет: 7777 UAH Срок: 4 дня

Добрый день!

Ознакомился с описанием вашего проекта.

Имею практический опыт разработки парсеров на Python, работы с большими объемами данных, CSV и автоматизации сбора информации. Перед началом работы детально анализирую структуру сайтов и подбираю оптимальный способ сбора данных, чтобы обеспечить стабильность работы парсера.

Хотел бы уточнить несколько деталей:

* с каких именно сайтов необходимо получать данные;
* нужен ли одноразовый сбор или регулярное обновление;
* какая структура существующей базы данных MySQL;
* какие поля являются обязательными для заполнения.

После уточнения требований смогу предложить оптимальное решение и оценить все технические нюансы.

Готов обсудить детали и приступить к работе. Развернуть

Бюджет: 7777 UAH Срок: 7 дней

Добрый день, Иван!

У меня есть опыт в написании парсеров, включая обходы сложных защит, таких как CLOUDFRAME. Понимаю специфику парсинга с авторизацией и интеграции данных в базы данных MySQL.

⚠️ Чтобы предложить эффективный парсер, нужно ознакомиться с техническим заданием и примером донора. Это позволит мне четко понять требования и адаптировать парсер под вашу базу данных. Предлагаю такой план работы:
1. Получить ТЗ и пример донора.
2. Разработать парсер, учитывая специфику каждого донора.
3. Тестировать парсер на корректность сбора данных.

💰🕗 Предварительная стоимость моих работ составит от 400$ в месяц. Срок выполнения зависит от сложности доноров, но обычно занимает от 2 до 4 недель.

Вы можете ознакомиться с моими кейсами и примерами работ в профиле: Freelancehunt.

Предлагаю обсудить детали вашего проекта в приватных сообщениях, чтобы уточнить специфику задания и определить дальнейшие шаги. Развернуть

Бюджет: 7700 UAH Срок: 5 дней

Привет! Задачу детально изучил, готов реализовать надежный парсер под ваши требования.
Сразу поясню по поводу профиля: я только зарегистрировался на бирже, так как до этого разрабатывал всю автоматизацию исключительно под нужды собственного бизнеса. Сейчас выхожу на площадку и активно набираю репутацию, поэтому к каждому проекту подхожу с максимальной отдачей.
Как реализую задачу:
Обход защиты: настрою стабильный обход Cloudflare и ротацию прокси, чтобы скрипт не улетал в бан по IP.
Парсинг и база: напишу чистые селекторы на Python (BeautifulSoup/lxml). Данные будут проходить валидацию и сохраняться в MySQL через SQLAlchemy с проверкой дубликатов (актуализация цен и добавление новых товаров).
Скорость: асинхронная загрузка картинок через aiohttp или httpx, автоматическое переименование по артикулу и раскладка по папкам на сервере.
Условия:
Срок: 5-7 дней.
Стоимость: 7 777 UAH.
Готов обсудить детали, жду ссылки на сайты-доноры в ЛС!

Бюджет: 8000 UAH Срок: 7 дней

Здравствуйте! Меня заинтересовал ваш проект по разработке парсеров.

У меня есть опыт разработки скриптов на языке Python (Scrapy, Playwright, Selenium / undetected-chromedriver), настройки авторизации, обхода противоскрапинговых систем защиты и прямой записи данных в MySQL с загрузкой медиафайлов на сервер.

Готов ознакомиться с ТЗ и примером сайта-донора, чтобы оценить сложность и сориентироваться по срокам и стоимости.

Жду деталей!

Бюджет: 7777 UAH Срок: 1 день

Готовый текст отзыва

Добрый день.

Задача понятна: нужен не один разовый парсер, а серверная система для регулярного сбора товаров с 10+ сайтов-доноров, авторизации, загрузки фотографий и синхронизации с действующей структурой MySQL.

Предлагаю построить решение модульно: общее ядро отвечает за запуск, авторизацию, повторные попытки, журналирование и запись в базу, а для каждого донора создается отдельный адаптер. Благодаря этому изменения на одном сайте не будут влиять на другие, а нового донора можно будет добавить без переработки системы.

Для обычных страниц использую httpx/BeautifulSoup, а для сайтов с JavaScript и сложной авторизацией — серверный Playwright. Сессии, cookies и токены будут храниться отдельно, чтобы не выполнять полный вход при каждом запуске.

Предусмотрю:

авторизацию на сайтах-донорах;
обход категорий и пагинации;
сбор характеристик, цен, остатков, описаний и вариаций;
загрузку фотографий на сервер;
адаптацию данных к существующим таблицам MySQL;
обновление товаров через upsert, без создания дубликатов;
контроль удаленных или недоступных позиций;
повторные попытки после временных ошибок;
понятные логи и статистику каждого запуска;
запуск по расписанию через cron или очередь фоновых задач;
Docker-конфигурацию для развертывания на сервере.

Что касается Cloudflare: универсального способа «обхода» для любого сайта не существует. Сначала нужно проверить конкретный тип защиты. Если после авторизации сайт доступен в обычном браузере, чаще всего можно реализовать стабильную работу через Playwright с корректным сохранением сессии. CAPTCHA и специальные блокировки требуют отдельного согласованного сценария или доступа, предоставленного владельцем сайта.

До начала полной разработки предлагаю реализовать одного донора как тестовый модуль. Это позволит согласовать:

структуру данных;
правила обновления товаров;
формат хранения фотографий;
поведение при отсутствии товара;
стабильность авторизации и защиты.

После этого другие доноры будут подключаться по той же архитектуре.

Для оценки нужны техническое задание, пример одного донора, тестовые доступы, структура действующей базы MySQL и информация о сервере. Также важно уточнить, должны ли парсеры только добавлять и обновлять товары, или полностью синхронизировать цены, остатки и удаления.

Ориентировочно один донор занимает 2–5 рабочих дней, в зависимости от авторизации, структуры каталога и защиты. Полная система для 10+ различных сайтов требует отдельной поэтапной оценки. Бюджет 7 777 грн может соответствовать разработке ядра. Развернуть

Бюджет: 7777 UAH Срок: 1 день

Добрый день!

Занимаюсь парсингом сайтов с защитой (Cloudflare, антибот-системы, сессии с авторизацией) на Python + Playwright. Делал парсеры, которые логинились на сайт, держали сессию, обходили challenge-страницы и выгружали данные и фото в MySQL — то есть именно тот стек задач, который у вас описан.

По вашему проекту:

Обход Cloudflare — это та часть, где сложность сильно зависит от конкретного донора: де-факто, версия защиты, наличие JS-challenge, TLS-fingerprinting и т.д. сильно отличаются от сайта к сайту. Поэтому без примера донора и ТЗ дать точную цену на весь пакет из 10+ сайтов было бы нечестно — могу ошибиться и в 2, и в 3 раза.

Предлагаю такой порядок работы:

Вы даете ТЗ и 1-2 примера доноров (самый простой и самый сложный из имеющихся) — я оцениваю их точно по времени и цене.
Делаю тестовый парсер на одном доноре — вы видите качество кода, скорость работы, как данные ложатся в вашу базу.
Если все устраивает — движемся по остальным донорам пакетно, уже с реальным пониманием сложности защиты на каждом.

Ориентировочная вилка по ставке — $15/час, по одному "стандартному" донору (авторизация + умеренная защита + парсинг в готовую БД) это обычно 2-4 дня работы. На сложных с жестким антиботом — дольше, будет видно уже на тесте.

Стек, который использую: Python, Playwright (с обходом детекции — stealth-плагины, ротация fingerprint), MySQL для сохранения данных, загрузка фото на сервер. Telegram-бот для уведомлений о статусе парсинга/ошибках могу добавить опционально, если нужен мониторинг.

Скиньте, пожалуйста, ТЗ и пример самого сложного донора — посмотрю и скажу конкретнее по срокам и цене. Развернуть

Бюджет: 7800 UAH Срок: 10 дней

Доброго дня. Готова написать вам парсер с обходом. Детали можем обсудить лично.

Бюджет: 7777 UAH Срок: 12 дней

Сделаю серверный парсер на Python под ваши 10+ доноров: логин и живая сессия на каждом, обход защиты где он есть, запись товаров в вашу MySQL и фото на сервер.

Ключевое в этой задаче не извлечь данные, а положить их так, чтобы сайт сразу показывал товар. Поэтому основную работу веду вокруг маппинга: поля, категории и атрибуты каждого донора свожу под вашу существующую структуру базы, а не сливаю сырые данные отдельной кучей. Пример донора и ТЗ посмотрю, чтобы сразу увидеть, как оно ложится под существующую схему.

Второй момент, который обычно ловят уже в проде: защищенный сайт может отдать страницу с кодом 200, но без товара, и наивный парсер считает, что изменений нет и молчит. Я закладываю проверку, что данные реально пришли (количество позиций, цены в пределах), иначе донор помечается как сломанный, а не тихо пропускается.

Делал парсеры под анти-бот защиту польских магазинов с авторизацией, под каждого донора отдельный адаптер на общем ядре, поэтому добавить нового потом это один адаптер, а не переписывать все. Никакого десктопа и C#.

Начал бы с одного донора полным циклом до записи в вашу базу, чтобы вы увидели качество, дальше остальное тем же каркасом. Детали обсудим в чате.

Бюджет: 7777 UAH Срок: 14 дней

Необходимо построить систему парсеров для 10+ доноров с авторизацией и защитой Cloudflare, которая составляет данные напрямую в MySQL и сохраняет фото на сервере.

Подход: Python + Playwright для сайтов с JS-рендерингом и Cloudflare, для авторизации сохраняю session/cookies между запросами. Каждый донор получает отдельный модуль с маппингом полей под вашу схему БД. Фото загружаю асинхронно через aiohttp, сохраняю с оригинальными именами или хешем, чтобы избежать дублей. Для обхода Cloudflare использую playwright-stealth или undetected-playwright в зависимости от уровня защиты конкретного донора.

Главный риск при 10+ донорах различной сложности: структура некоторых сайтов меняется без предупреждения, поэтому закладываю логирование ошибок и алерт в Telegram, когда парсер возвращает 0 товаров.

Сколько товаров ориентировочно на каждом доноре и парсинг разовый или регулярный по расписанию?

Бюджет: 8000 UAH Срок: 14 дней

Задача понятна: построить серию Python-парсеров для 10+ источников с авторизацией и защитой (Cloudflare), с записью товаров в существующую MySQL и фото на сервер.

Как планирую работать:
1) Разберу ТЗ и пример донора, настрою сессии с авторизацией (cookies/OAuth), обход защиты через реалистичные заголовки, паузы, при необходимости прокси.
2) Напишу отдельные модули под каждого донора с нормализацией полей под вашу схему БД.
3) Реализую сохранение изображений на сервер и апсерт в MySQL без дубликатов.
4) Логи и обработку ошибок для стабильного запуска.

Начну с одного донора как пилота, дальше масштабирую. Готов стартовать сразу после ТЗ. Скиньте пример — оценю точные сроки.

Бюджет: 7777 UAH Срок: 7 дней

ТЗ понял: нужны парсеры под 10+ доноров с разным уровнем защиты, включая защиту типа Cloudflare, доступ через сайты с авторизацией, данные и фото загружаются в вашу MySQL-базу. Десктопные решения и C# не предлагаю, работаю через Python.

Для сайтов с усиленной защитой обычный requests не проходит, поэтому иду через headless-браузер с подменой fingerprint и поведенческих паттернов, где нужно, через прокси-ротацию. Авторизацию держу сессией с автологином при протухании токена, а не ручным логином на каждый запуск. Данные сразу мапятся под вашу существующую структуру MySQL, фото загружаются отдельным потоком на сервер без блокировки основного парсинга.

Из-за разного уровня защиты у доноров предлагаю начать с ТЗ и примера одного донора, как вы и пишете, это покажет реальную сложность и нужен ли именно браузерный обход или хватит прямых запросов с подбором заголовков.

Бюджет: 15000 UAH Срок: 7 дней

Добрый день. Пожалуйста, дайте ссылку на сайты, которые нужно будет парсить.

Бюджет: 7777 UAH Срок: 7 дней

Здравствуйте!

Заинтересовал ваш проект. У меня есть опыт разработки высоконагруженных парсеров на Python для e-commerce, маркетплейсов и B2B-платформ, включая сайты с авторизацией, сложной структурой и защитой от автоматизированного сбора данных.

Могу реализовать:

* парсер под каждого донора с учетом его особенностей;
* авторизацию и поддержку сессий;
* сбор всех необходимых данных о товарах;
* загрузку фотографий на сервер;
* адаптацию структуры данных под вашу существующую MySQL-базу без изменения логики работы сайта;
* логирование, обработку ошибок и возможность дальнейшего сопровождения.

Работаю исключительно с серверными решениями (Python, Scrapy, Playwright, Selenium, Requests, BeautifulSoup, FastAPI), без использования десктопных парсеров или C#.

После ознакомления с техническим заданием и примером донора смогу оценить сложность каждого источника, предложить оптимальный подход, определить сроки и стоимость.

Готов начать работу сразу после получения ТЗ. Развернуть

Бюджет: 7777 UAH Срок: 1 день

Здравствуйте!

У меня большой опыт разработки решений для парсинга и обработки данных (различные источники, защита от блокировок, автоматизация). Готов выполнить поставленную задачу в кратчайшие сроки.

Предлагаю обсудить детали в личных сообщениях.

Бюджет: 7777 UAH Срок: 7 дней

Здравствуйте, Иван! Cloudflare с авторизацией на 10+ донорах — это главная проблема: сессии падают, а защита разная. На прошлой неделе запускал парсинг для магазина с техникой: я использовал Playwright с постоянным контекстом и ротацией user-agent, чтобы сессия не сбрасывалась после первого запроса. Сделаю асинхронный парсер с отдельными профилями браузера для каждого донора и записью в твою MySQL. Сколько доноров стартуют одновременно?

Бюджет: 7777 UAH Срок: 3 дня

Здравствуйте!

Отлично понимаю задачу и имею большой опыт написания стабильных парсеров на Python для сайтов с авторизацией, сессиями и агрессивной защитой, включая Cloudflare / Cloudflare Turnstile.

Бюджет: 7777 UAH Срок: 7 дней

Добрый день, имею большой опыт в парсе и автоматизации действий, обхожу защиту сайтов любой сложности. Присылайте ТЗ в личку изучу.

Бюджет: 7777 UAH Срок: 8 дней

Доброго дня! Специализируюсь именно на парсинге защищённых сайтов: обход Cloudflare/анти-бот защиты, работа с авторизованными сессиями, многопоточность. Десктопные решения и C# не использую — консольные скрипты на Python, готовые под Cron на VPS.

Согласен с коллегами: 10+ доноров разного уровня защиты в один бюджет 7777 грн реалистично не влезут, если считать "под ключ" сразу. Предлагаю старт с одного показательного донора (самого сложного с точки зрения защиты) — так вы увидите качество работы и сможем точно оценить остальное по факту. Нормализацию под вашу MySQL-базу и выгрузку фото на сервер заведения сразу в первый этап.

Скиньте ТЗ и пример одного донора — гляну уровень защиты и уточню сроки.

Бюджет: 7777 UAH Срок: 11 дней

Для обхода cloudflare есть готовые решения с подключенным сервисом, который решает капчу.

Бюджет: 27000 UAH Срок: 3 дня

Доброго дня.

У меня 13 лет опыта в коммерческой разработке и я могу предложить серверное решение на Node.js с использованием Playwright.

Для сайтов с авторизацией парсинг будет выполняться через полноценный браузер: с реальным прохождением формы входа, сохранением сессий, cookies, локального хранилища и повторным использованием авторизованного профиля. Такой подход позволяет работать с сайтами, которые используют Cloudflare, проверки JavaScript и другие механизмы защиты.

Кроме классического подхода, можно построить более универсальную платформу с использованием AI. Вместо создания большого количества жестко прописанных правил для каждого донора, система будет ориентироваться на получение необходимых бизнес-данных (название товара, артикул, цена, характеристики, фотографии и т.д.), независимо от структуры конкретного сайта. Это значительно упрощает поддержку и адаптацию парсеров при изменении верстки или добавлении новых доноров.

Могу реализовать:
• отдельные или универсальные модули парсинга;
• авторизацию и автоматическое восстановление сессий;
• обработку товаров, характеристик, цен и остатков;
• загрузку фотографий на сервер;
• адаптацию данных к имеющейся структуре MySQL;
• очереди, журналирование и повторные попытки;
• запуск парсеров по расписанию;
• поддержку прокси и различных браузерных профилей по необходимости.

После ознакомления с техническим заданием смогу предложить архитектуру, которая лучше всего подойдет именно для ваших доноров. Стоимость и сроки предварительные, так как зависят от количества сайтов, сложности авторизации и уровня защиты. Развернуть

Бюджет: 7777 UAH Срок: 16 дней

Здравствуйте! Делаю парсеры на Python (Scrapy + Playwright): обход Cloudflare, работа за авторизацией и управление сессиями через резидентные прокси, запись в готовую MySQL и выгрузка фото на сервер с дедупликацией.

Ваша задача реалистична, но объём и сложность сильно зависят от конкретных доноров — обход Cloudflare может быть как тривиальным, так и дорогим. Пришлите, пожалуйста, ТЗ и 2–3 примера доноров (желательно самых защищённых) — посмотрю уровень защиты и дам точную оценку по срокам.

По бюджету: 8 000 грн — нормальный ориентир для части объёма, но финальную вилку назову после доноров, т.к. один жёсткий Cloudflare-донор по трудозатратам равен нескольким лёгким. Предлагаю поэтапно: сначала каркас + 2–3 донора, дальше по остальным. Так вы видите результат до полной оплаты.

Бюджет: 10000 UAH Срок: 7 дней

Добрый день, можете нажать список сайтов? От сайтов уже будет формироваться цена. Обходить блокировки возможно, если генерировать браузером куки и хедеры, а затем их использовать. Имею опыт в парсинге, работал в компании Webpersers.

Бюджет: 7777 UAH Срок: 18 дней

Здравствуйте!

Обратите внимание на реализацию вашего проекта на стеке PHP/Laravel вместо Python. Часто для парсеров по привычке выбирают Python, но если ваша действующая база данных MySQL и сам сайт работают на PHP (или популярных CMS), интеграция стороннего Python-скрипта создаст лишнюю нагрузку на инфраструктуру и значительно усложнит поддержку.

Почему Laravel - это идеальное и гораздо практичное решение для вашей задачи:

1. Нативная интеграция с MySQL: Никаких "костылей" при синхронизации данных. Laravel Eloquent позволяет безопасно, быстро и без посредников адаптировать распарсенные данные под структуру вашей БД.
2. Фоновая обработка и очереди (Queues): У вас 10+ доноров. Если один сайт временно "упадет" или заблокирует запрос, очередь Laravel просто поставит задачу на повтор через определенное время, не останавливая парсинг других 9 доноров. Это работает стабильно, автономно и не забивает память сервера.
3. Обход Cloudflare: Сам по себе Python не обходит Cloudflare лучше, чем PHP. Обход полностью зависит от эмуляции реального браузера (надежные TLS-fingerprints, ротация резидентных прокси, работа с безголовым Chrome через Puppeteer/Playwright). Мы реализуем это на уровне серверных запросов или с помощью легких Node.js-приложений, которые безупречно управляются непосредственно из Laravel.
4. Загрузка фото на сервер: Laravel имеет мощную встроенную систему работы с файлами (Flysystem), что позволит оптимизировать, уникализировать и разложить фото по папкам вашего сервера "на лету".

Готов посмотреть техническое задание и примеры сайтов-доноров, чтобы детально обсудить алгоритмы обхода защиты и структуру импорта. Напишите мне, вышлю примеры похожих решений. Развернуть

Бюджет: 7777 UAH Срок: 1 день

Здравствуйте!
Регулярно занимаюсь парсингом, с обходом cloudflare и авторизацией. Предоставьте список сайтов для ознакомления, регистрация на сайтах не сложная, достаточно только email?
Нужен ли телефон, едрпоу и другие личные данные?
Пишите в личные сообщения.
Срок и цена пока условные.

Бюджет: 7777 UAH Срок: 2 дня

Здравствуйте! Я делаю такие парсеры, сразу под подход под Cloudflare и авторизацию.

Под защиту и сайты с логином парсер веду через живую сессию: один раз авторизуюсь, держу куки, и дальше хожу уже под ними. На тяжелом Cloudflare с JS-челленджем или Turnstile поднимаю через headless-браузер, прохожу проверку, а на 403 или сбое сессии переавторизуюсь автоматически, чтобы сбор не останавливался среди ночи. Темп человеческий, чтобы аккаунты не летели в бан.

Раз доноров 10+ и защита у всех разная, делаю общее ядро (сессия, авторизация, ретраи, дедуп) плюс отдельный адаптер под каждый сайт. Тогда добавить нового донора — это новый адаптер, а не переписывание всего.

Данные кладу прямо в вашу MySQL, сопоставляю поля под существующую структуру, фото качаю на сервер. Скиньте ТЗ и пример донора, и я скажу точно по каждому, какой там уровень защиты и как его брать. Буду рад сотрудничеству.

Бюджет: 7777 UAH Срок: 10 дней

Здравствуйте, Иван!

Меня заинтересовал ваш проект. Задача полностью соответствует моему профилю: у меня большой опыт в веб-парсинге на Python (никакого C# или десктопных решений) и настройке серверных скриптов.

Поскольку указанный бюджет является условным, я готов предложить гибкие и прозрачные условия сотрудничества после ознакомления с техническим заданием. На основе вашего описания предлагаю следующие технические решения:

Обход Cloudflare: Для сайтов с высоким уровнем защиты будем использовать связку Playwright / Undetected Chromedriver вместе с качественными ротируемыми прокси и эмуляцией поведения реального пользователя (настройка TLS-отпечатков и заголовков). Это минимизирует риск блокировок.

Парсинг с авторизацией: Реализую механизм сохранения и автообновления сессий (cookies/tokens). Если во время парсинга сессия закроется — скрипт автоматически выполнит повторный вход без остановки процесса.

Модульная архитектура (10+ доноров): Мы не будем писать один гигантский хаотичный код. Создадим один базовый класс-парсер (отвечает за работу с базой данных, скачивание фото на сервер, работу с прокси) и отдельные легкие модули под каждого донора. Это позволит легко поддерживать парсеры, если какой-то из сайтов изменит свой дизайн.

Интеграция с MySQL: Напишу маппинг данных под структуру вашей текущей базы, чтобы спарсенная информация ложилась без ошибок и дубликатов. Фотографии будут загружаться непосредственно на ваш сервер с оптимизацией размера, а в базу будут записываться правильные пути к ним.

Как я предлагаю построить работу и оценку:
Поскольку доноры имеют разную сложность и защиту, наиболее удобный вариант — разбить проект на несколько этапов (спринтов) с пошаговой оплатой. Например, оценивать и сдавать пулами по 2-3 донора. Это безопасно для вас и удобно для меня.

Буду благодарен, если отправите ТЗ и пример хотя бы одного сложного донора в приватные сообщения. После этого я смогу назвать точные сроки и финальную стоимость за весь проект или за каждого отдельного донора.

С уважением, Александр Развернуть

Бюджет: 8000 UAH Срок: 4 дня

Здравствуйте! Задание полностью соответствует моему профилю. Специализируюсь на написании серверных парсеров (без C# и десктопа) с обходом Cloudflare и авторизацией на донорах. Пожалуйста, отправьте ТЗ и ссылки на сайты для детального анализа. После изучения смогу назвать точные сроки и бюджет.

Бюджет: 7777 UAH Срок: 1 день

Иван, привет!
Пишу серверные парсеры на Python. Для сайтов с авторизацией держу сессию через сохраненные куки, для Cloudflare в зависимости от уровня защиты - подмена TLS-отпечатка запроса или полный headless-браузер, если есть JS-проверка или капча.

Под каждого донора отдельный небольшой модуль со своей логикой логина и парсинга карточек. Все модули подключаются к одному общему механизму (очереди запросов, повторные попытки при сбое, загрузка фото). Так изменение верстки или защиты на одном сайте не останавливает парсинг других 9.

Сначала возьму в работу самый сложный из доноров, чтобы сразу понять реальный объем работы, а не оценивать весь проект по самому легкому примеру.
Готовые данные записываю в вашу MySQL-базу с полями под существующую структуру таблиц, повторный запуск обновляет существующие товары, а не создает копии. Если где-то понадобятся прокси или антикапча-сервис, скажу стоимость заранее.

Отправьте, пожалуйста, ТЗ и пример одного донора (самого сложного).

Бюджет: 7500 UAH Срок: 4 дня

Здравствуйте.
Для такого проекта сначала важно проверить одного конкретного донора. У сайтов могут отличаться авторизация, формат карточек товаров, доступ к фото и способ получения данных, поэтому одинаковая оценка на все 10+ источников будет неточной.
Работаю с источниками, для которых у вас есть авторизованный доступ и разрешенный формат получения данных: API, выгрузка прайс-листов или согласованная автоматизация веб-кабинета. Если сайт блокирует автоматизацию или требует CAPTCHA, стоит отдельно согласовать официальный канал данных.
Предлагаю начать с одного донора:
анализ доступа и структуры товаров;
адаптер под вашу MySQL-базу;
загрузка фото на сервер;
нормализация полей и защита от дублей;
логирование ошибок и результата импорта.
После пилота будет видно качество данных в вашей базе, а также можно будет точно оценить каждого следующего донора без риска для всего проекта.
Предварительная оценка 2 500–3 000 UAH за донора.
Перед началом работы нужны ТЗ, пример донора, тестовый авторизованный доступ и структура MySQL-базы. Развернуть

Бюджет: 7776 UAH Срок: 12 дней

можете предоставить список сайтов и ТЗ?
_________________________
_________________________

Бюджет: 7777 UAH Срок: 4 дня

Требуется смотреть и оценивать каждый сайт-донор отдельно. Очень приблизительная цена 2000 грн за один сайт. (и сроки 2-4 дня) Использую python, uv, github, docker.

Бюджет: 7777 UAH Срок: 3 дня

Здравствуйте! Парсинг — моя основная специализация: собирал данные с сайтов с авторизацией и анти-бот защитой, работаю на Python (Playwright + requests), так что формат «данные в вашу MySQL + фото на сервер» — стандартный для меня пайплайн.

Предлагаю поэтапный формат: беру 1–2 донора как пилот — вы оцениваете качество данных и скорость, дальше идем по остальным по приоритету. Адаптацию полей под вашу структуру БД делаю по вашему ТЗ 1:1.

В стоимость закладываю месяц поддержки: если донор обновит защиту — исправлю без доплат.

Отправьте, пожалуйста, ТЗ и пример донора — после просмотра подтвержу сроки по пилоту (ориентировочно 2–3 дня на первого донора).

Бюджет: 7777 UAH Срок: 10 дней

Готов выполнить ваш заказ оперативно и качественно. Имею опыт работы с аналогичными проектами, всегда соблюдаю дедлайны и техническое задание. Буду рад сотрудничеству!

Бюджет: 10000 UAH Срок: 5 дней

Доброго дня.
По работе, постоянно выполняю подобные задания.
Если интересно, то можно сотрудничать на постоянной основе. А не разово.
Будет выгодно обеим сторонам.
Если разово, то один партнер от 1000 до 5000 грн. В зависимости от сайта.
Хорошего дня.

Бюджет: 7777 UAH Срок: 1 день

Добрый день. У меня огромный опыт парсинга защищенных клаудфреймом сайтов. Для этой задачи у меня готовый модуль обхода защиты. Финальная цена зависит только от сайтов. Буду рад обсудить детали в личных сообщениях!

Бюджет: 7500 UAH Срок: 5 дней

Приветствую, Иван! Прекрасно понимаю вашу задачу. Парсинг сайтов с авторизацией и защитой Cloudflare — это всегда игра в долгую: обычные запросы через requests или скрипты «на коленке» здесь заблокируются на первом же шаге. Готов разработать для вас надежное серверное решение на Python 3.12, полностью адаптированное под вашу базу данных MySQL.

Десктопные варианты и C# не рассматриваю, пишу исключительно чистый серверный код. Чтобы система работала стабильно и не ломалась при изменении верстки одного из сайтов, я предлагаю модульную архитектуру:

1. Обход Cloudflare и живые сессии: Для парсинга настрою Playwright со Stealth-модификациями. Скрипт будет эмулировать поведение реального человека, проходить TLS-fingerprint проверки, успешно обрабатывать JS-челленджи от Cloudflare, логиниться и надежно удерживать куки авторизации в рамках сессии.
2. Архитектурное ядро и адаптеры: Мы не будем писать 10 разных громоздких парсеров. Я создам единое управляющее ядро (которое отвечает за ротацию прокси, сессии, логирование и загрузку фото на сервер) и напишу отдельные легкие плагины-адаптеры под каждого донора. Если один из 10+ сайтов изменит дизайн, вам нужно будет поправить всего один изолированный файл, а вся остальная система продолжит работать.
3. Интеграция с вашей MySQL: Настрою точную нормализацию данных. Скрипт будет приводить спарсенные карточки товаров строго к структуре существующих таблиц вашей БД, исключая дубликаты по уникальным артикулам.

Указанный бюджет и срок в 5 дней я закладываю на создание общего серверного ядра, интеграцию с вашей MySQL и полную отладку первых 2-3 доноров в качестве пилотного этапа. Вы увидите качество данных в своей базе, и после этого мы сможем поочередно подключить остальные сайты.

Подскажите, пожалуйста, на каком хостинге/сервере планируется запускать систему, и каков общий объем товаров (ориентировочно) планируется собирать с одного сайта за один сеанс? Развернуть

Бюджет: 7777 UAH Срок: 1 день

Доброго дня.
У меня уже есть готовый парсер на node js, который обходит cloudflare.
Если у вас есть вопросы, можете написать мне в ЛС.

Бюджет: 8000 UAH Срок: 1 день

Здравствуйте. Я готов разработать надежную и масштабируемую систему парсинга, которая эффективно обходит сложные защиты наподобие Cloudflare и будет работать с авторизованными сессиями на более чем десяти различных донорах, применяя распределенную архитектуру с асинхронными фреймворками и инструментами автоматизации браузеров. Особое внимание уделю стабильности работы, минимизации рисков блокировки благодаря продуманной ротации IP и User-Agent, а также точности адаптации собранных товаров и фотографий к вашей существующей базе данных MySQL. У меня есть значительный опыт в реализации подобных проектов для крупных e-commerce ресурсов, что позволяет мне использовать проверенные наработки для ускорения разработки и гарантии высокого качества. Все детали реализации, конечный бюджет и сроки предлагаю обсудить в личных сообщениях.

Бюджет: 7777 UAH Срок: 1 день

Доброго дня, готов выполнить вашу задачу быстро и качественно. У меня большой опыт в создании различных парсеров и обходе разного уровня защиты. Напишите в личные сообщения, обсудим детали. С удовольствием помогу)

Бюджет: 7777 UAH Срок: 7 дней

Добрый день, В веб-программировании уже более 9 лет
Работаю с rest api, фреймворками и cms такие как django, laravel, yii2, wp, opencart, codegnither и т.д. Готов выполнить задачу.
Отзывы: Freelancehunt

Бюджет: 7777 UAH Срок: 4 дня

Cloudflare обойдем через Playwright Stealth / Undetected Chromedriver: сессии с авторизацией будут эмулировать действия реального человека, проходить TLS-fingerprint проверки и стабильно держать куки без блокировок.

Привет! Я Нина, менеджер IT-агентства Valflow. Парсинг-системы любой сложности на Python у нас пишет Валентин, основатель нашей школы вайбкодинга. Развернем серверные скрипты, которые будут забирать товары, качать фото и аккуратно укладывать данные строго в архитектуру вашей MySQL.

Инструменты: Python, Playwright/Selenium (Stealth-модификации), Асинхронный парсинг, ротация прокси.
Результат: Чистый серверный код (без десктопа), адаптированный под вашу готовую БД.

Цена: 7 777 UAH (за первый этап / доноров)
Срок: 4 дня

Напишите в ЛС - изучим ТЗ, оценим степень защиты первых доноров и сразу назовем финальные сроки. Развернуть

Бюджет: 7777 UAH Срок: 6 дней

Доброго дня!
У меня есть опыт разработки серверных парсеров на Python и интеграции данных в MySQL. Могу реализовать сбор товаров с сайтов с авторизацией, загрузку фотографий на сервер и адаптацию данных под вашу текущую структуру базы.
Каждого донора предварительно анализирую отдельно, так как способы авторизации, структура данных и уровень защиты могут существенно различаться. Пожалуйста, отправьте ТЗ, пример донора и структуру базы данных — после анализа смогу предложить оптимальный вариант реализации.

Бюджет: 7777 UAH Срок: 6 дней

Здравствуйте. У меня большой опыт парсинга с обходом защиты. Можно посмотреть детальное ТЗ? Готов к сотрудничеству.

Бюджет: 7777 UAH Срок: 5 дней

Здравствуйте, можно сделать на Пайтон парсер, часто обходы легко можно найти от CLOUDFRAME.

Напишите мне, обсудим все детально, и я могу сразу приступить к выполнению.

Портфолио: Freelancehunt
Отзывы: Freelancehunt

Бюджет: 7777 UAH Срок: 1 день

Здравствуйте, готов написать вам парсера, есть опыт обхода Cloudflare без проблем сделаю парсер любой сложности. Цена за один парсер от 2500 грн до 10 тысяч грн в зависимости от сложности. Если заинтересованы в качественном выполнении работы - пишите.

Бюджет: 7777 UAH Срок: 10 дней

Готов сделать. _____________________________________________