Парсинг данных через мобильное API

Приветствую, Макс!

Ознакомился с описанием проекта. Задача по реверс-инжинирингу мобильного API для e-commerce (Rozetka и аналоги) полностью соответствует моему профилю. Специализируюсь на Python-автоматизации, разборе сетевых протоколов и создании стабильных парсеров.

Как я реализую проект:

Перехват трафика: Настрою прокси-сервер (MITM) для анализа защищенного трафика Android-приложения, определю все ключевые API-эндпоинты и необходимые заголовки (headers).
Анализ авторизации: Разберу логику генерации, жизни и обновления токенов, чтобы автоматизировать этот процесс в скрипте без риска деавторизации.
Разработка скрипта: Напишу чистый, оптимизированный асинхронный скрипт на Python для быстрого и незаметного сбора данных.
… Документирование: Подготовлю подробную и понятную инструкцию по логике работы решения, чтобы вы могли легко поддерживать его самостоятельно.

Мои релевантные кейсы:

Goszakup Tender Bot: Спроектировал разделенную архитектуру с фоновым модулем для постоянного поддержания сессий, обхода анти-бот паттернов и сохранения состояния авторизации.
Avia Navigation Data Pipeline: Разработал асинхронную систему сбора и валидации данных на FastAPI с изолированной обработкой ошибок для предотвращения сбоев.

Имею глубокое понимание работы Linux-систем, сетевых процессов и кэширования данных. Готов обсудить детали в чате или технических сообщениях и оперативно приступить к работе.

Приветствую! Задача абсолютно понятна. "Обычный" парсинг HTML-кода здесь не работает, так как веб-версия закрыта WAF/Cloudflare, поэтому вы абсолютно правы - нужно имитировать запросы официального мобильного приложения.

Под капотом мобильный API - это стандартные HTTP/HTTPS запросы (REST/JSON), и задача сводится к правильной эмуляции устройства.

Мой стек и алгоритм реализации:
1. Анализ трафика: Настройка связки (подниму Mitmproxy / Charles Proxy) для перехвата запросов Android-приложения.
2. Обход защиты: При необходимости разверну Frida для декомпиляции/обхода SSL Pinning (если приложение проверяет сертификат безопасности и блокирует прокси).
3. Реверс-инжиниринг: Выделение целевых эндпоинтов (каталог, карточка товара, цены), анализ структуры заголовков (headers, User-Agent, device_id) и логики генерации/обновления токенов авторизации.
4. Автоматизация: Написание чистого, оптимизированного скрипта на PHP (Laravel HTTP Client / cURL), который будет циклично собирать данные в обход любых блокировок, прикидываясь реальным мобильным устройством.
… 5. Передача: Оформлю лаконичную документацию (какой запрос куда летит, какие токены обновлять), чтобы вы могли легко поддерживать скрипт.

Опыт работы с API-интеграциями и реверсом запросов большой.

Срок: 4-5 дней (с учетом времени на разбор возможного SSL Pinning).

Делал такое для нескольких e-commerce проектов: ставил mitmproxy или Charles на Android-девайсе, снимал трафик мобильного приложения и вытаскивал нужные эндпоинты с заголовками, токенами и параметрами запросов. Розетка в частности имеет достаточно стабильное мобильное API, так что задача понятная. Вопрос: нужен разовый анализ и документирование API, или сразу нужен рабочий парсер, который будет гонять запросы автоматически? Готов обсудить объём и сроки.

Приветствую, сделаю. Умею снифить трафик с мобильных app. Присылайте фулл ТЗ в личку обговорим детальней.

Добрый день.

Занимался сбором данных через API и парсингом e-commerce проектов. Могу разобраться со структурой запросов приложения, реализовать сбор необходимых данных и подготовить код в понятном виде с объяснениями.

Для оценки нужно уточнить, с какого именно сервиса начинаем и какие данные нужно получать.

После этого смогу сказать сроки и стоимость.

Показать оригинал

Перевести

напишите какое приложение я проанализирую оценю
__________________________________________________________

Здравствуйте. Задачу понял: нужен не обычный парсинг верстки, а сбор данных через внутреннее мобильное API приложения. То есть перехватить трафик Android-приложения, найти реальные endpoints и их заголовки, разобраться как приложение получает и обновляет токен авторизации, и на этой основе написать скрипт, который тянет данные напрямую через API, плюс документация чтобы вы поддерживали решение сами.

По шагам вижу так. Сначала ставлю перехват трафика приложения через прокси (mitmproxy или Charles) с подменой сертификата, при необходимости обхожу certificate pinning, чтобы увидеть реальные запросы. Дальше разбираю какие endpoints дергает приложение, какие заголовки и подписи передаются, как устроена авторизация и обновление токена. Потом воспроизвожу эти запросы в Python уже без приложения, с корректными заголовками и автоматическим обновлением токена, и собираю данные в нужном вам формате. В конце документирую логику запросов и токенов, чтобы вы могли сами чинить, если на стороне магазина что-то поменяется.

Почему именно через мобильное API, а не парсинг страниц, мне понятно: внутренний API отдает чистые структурированные данные, на нем меньше защит и капч чем на вебе, и он работает стабильнее. С reverse engineering мобильных и веб API, перехватом трафика и воспроизведением запросов с токенами в Python работал.

Чтобы оценить точнее: какое приложение или магазины первыми в приоритете, и какие именно данные нужны (каталог, цены, остатки, карточки товара)? И сбор разовый или регулярный по расписанию?

Добрый день! Именно через мобильный API и работаю — поднимаю прокси (mitmproxy/Frida на Android), снимаю реальные запросы приложения, разбираю заголовки и схему токена (как выдается и обновляется) и уже на этом пишу сборщик напрямую к API, без хрупкого HTML-парсинга. По rozetka и подобным e-commerce ориентируюсь. Документацию с логикой оставлю, чтобы вы могли поддерживать решение сами. Сколько примерно товаров и категорий нужно снимать за один прогон? От этого зависит тротлинг и сроки.

Показать оригинал

Перевести

Добрый день. Готов выполнить данный проект есть большой опыт разработки различных приложений

ИИ-решение для такого сбора у нас уже есть практически готовое, можно быстро адаптировать под ваш источник и обсудить это в переписке биржи, я на связи ))
по срокам я бы предложил первый технический этап на 5-7 дней - перехват трафика, карта запросов, проверка авторизации, прототип сбора данных через мобильное апи и краткая документация.
смотрите, тут нюанс - важно, чтобы был легальный сценарий доступа и без обхода защиты, иначе решение может быть хрупким и рискованным.
из похожего опыта - работали с маркетплейсами, интеграциями, мониторингом данных, личными кабинетами и автоматизацией бизнес-процессов.
документацию сделаем так, чтобы вы могли поддержвать решение сами, плюс можно добавить ии-контроль изменений апи и уведомления, если источник поменял ответы или авторизацию.
уточните, пожалуйста, какое именно android-приложение нужно анализировать и какие поля по товарам нужны в первой версии.
еще вопрос - есть ли у вас тестовый аккаунт в приложении и пример желаемой выгрузки.
https://business.ingello.com/prime-eva - похож по части e-commerce, сложных интеграций и производственных процессов.
https://business.ingello.com/eva - ближе всего по мониторингу маркетплейсов и сбору данных.
… https://business.ingello.com/vorfahr - косвенно близко по saas и ии-автоматизации.
главная страница для биржи - https://systems-fl.ingello.com

Здравствуйте!

У меня большой опыт разработки решений для парсинга и обработки данных (различные источники, защита от блокировок, автоматизация). Готов выполнить поставленную задачу в кратчайшие сроки.

Предлагаю обсудить детали в личных сообщениях.

Добрый день. Делал парсинг защищенных мобильных приложений Copart.com и getContact.com и много других. Очень хорошо в этом разбираюсь. Смогу написать какой нужно парсинг. Пишите обсудим.

Привет, есть опыт в перехвате мобильного трафика (не просто эмулятор + SSL сертификаты + MITM Proxy), а полноценное кастомное решение, для нормального байпаса Sicherheitswerkzeuge.
Скрапил много платформ через такой метод (Глово, Болт, Убер Фудс. Ранее даже Твиттер.)

Могу помочь с решением вопроса. Напишите в личные, обсудим.

Показать оригинал

Перевести

Добрый день!
Имею значительный опыт перехвата и анализа трафика мобильных API (Android), в частности e-commerce платформ. Готов реализовать автоматический парсинг данных с rozetka и аналогичных ресурсов, включая расшифровку авторизации и детальную документацию.

Предоставлю реальные кейсы работы с API и прокси в ЛС. Обращайтесь для обсуждения деталей.

Показать оригинал

Перевести

Задание полностью понятно. Обычный веб-скрейпинг здесь действительно не сработает, так как мобильные приложения (особенно крупные e-commerce типа Rozetka) имеют совершенно другую логику авторизации, защиты и генерации токенов. Готов реализовать это задание на Python.Как именно будет выполнен ваш проект:Перехват трафика: Настрою прокси-сервер (Mitmproxy / Charles Proxy) на Android-эмуляторе для полного анализа запросов приложения. Если есть SSL Pinning — обойду его с помощью инструментов реверс-инжиниринга (Frida/Objection).Анализ API: Найду точные endpoints, выделю необходимые headers, dynamic keys и разберу логику работы и обновления токенов авторизации.Автоматизация: Напишу быстрый асинхронный скрипт на Python (Aiohttp / Requests) для стабильного сбора данных через найденное мобильное API.Документация: Передам вам чистый код с детальными комментариями и инструкцией, чтобы вы могли легко поддерживать скрипт самостоятельно. Имею сертификат Python Essentials и успешные кейсы на платформе. Готов показать детали аналогичных решений в личных сообщениях. Напишите мне, обсудим детали!

Показать оригинал

Перевести

Здравствуйте! У меня очень широкий опыт как в разработке скрейперов, так и в самом скрейпинге.
1. Создадим адекватное ТЗ работ.
2. Реализую скрейпер, используя технический стек по вашему желанию.
3. Вы получите анализ, данные, которые будут четко описаны и структурированы.
Пишите, обсудим!

Показать оригинал

Перевести

Готов сотрудничать. Есть опыт сбора с rozetka по API. ______

Добрый день! Мы имеем опыт работы с перехватом трафика мобильных приложений и анализом эндпоинтов для парсинга e-commerce платформ. Реализуем это через настройку прокси-серверов, декомпиляцию APK и эмуляцию заголовков для обхода защиты. Готовы оперативно приступить к анализу запросов и структурированию данных.

Здравствуйте, я Python - разработчик, есть опыт в разработке парсеров разной сложности. Могу выполнить ваш проект быстро и качественно. Пишите - обсудим детали. Приступить к работе готов уже сегодня
Є великий досвід роботи за АПІ

Здравствуйте. Мой подход к этому проекту будет основан на глубоком анализе мобильного трафика с помощью специализированных прокси-инструментов для идентификации скрытых API-эндпоинтов и детального изучения механизмов авторизации, включая управление токенами. Я разработаю масштабируемое и отказоустойчивое решение с использованием асинхронных запросов, эффективной обработкой ошибок и интеграцией стратегий для избежания блокировок, обеспечивая стабильный сбор данных и высокую производительность. У меня есть значительный опыт в реверс-инжиниринге мобильных API для e-commerce платформ и я обладаю готовыми программными модулями, которые существенно ускорят реализацию и обеспечат надежность решения. Финальный результат будет сопровождаться четкой технической документацией для легкой дальнейшей поддержки. Все детали реализации, конечный бюджет и сроки предлагаю обсудить в личных сообщениях.

Показать оригинал

Перевести

Добрый день, готов выполнить ваше задание быстро и качественно. У меня большой опыт в создании различных парсеров. Напишите в личные сообщения, обсудим детали. С удовольствием помогу)

Показать оригинал

Перевести