Парсинг даних через мобільне API

Звісно, що веб-парсинг не підходить. Там захист від бота. Розетка через Cloudflare працює. По Розетці: є бот, який працює так, як вам потрібно. Усі деталі в особисті повідомлення.

Показати оригінал

Перекласти

Привіт, Макс!

Ознайомився з описом проєкту. Завдання з реверс-інжинірингу мобільного API для e-commerce (Rozetka та аналоги) повністю відповідає моєму профілю. Спеціалізуюсь на Python-автоматизації, розборі мережевих протоколів і створенні стабільних парсерів.

Як я реалізую проєкт:

Перехоплення трафіку: Налаштую проксі-сервер (MITM) для аналізу захищеного трафіку Android-додатку, визначу всі ключові API-ендпоінти та необхідні заголовки (headers).
Аналіз авторизації: Розберу логіку генерації, життя та оновлення токенів, щоб автоматизувати цей процес у скрипті без ризику деавторизації.
Розробка скрипта: Напишу чистий, оптимізований асинхронний скрипт на Python для швидкого та непомітного збору даних.
… Документування: Підготую детальну та зрозумілу інструкцію по логіці роботи рішення, щоб ви могли легко підтримувати його самостійно.

Мої релевантні кейси:

Goszakup Tender Bot: Спроєктував розділену архітектуру з фоновим модулем для постійного підтримання сесій, обходу анти-бот патернів і збереження стану авторизації.
Avia Navigation Data Pipeline: Розробив асинхронну систему збору та валідації даних на FastAPI з ізольованою обробкою помилок для запобігання збоїв.

Маю глибоке розуміння роботи Linux-систем, мережевих процесів і кешування даних. Готовий обговорити деталі в чаті або технічних повідомленнях і оперативно приступити до роботи.

Показати оригінал

Перекласти

Вітаю! Завдання абсолютно зрозуміле. "Звичайний" парсинг HTML-коду тут не працює, оскільки веб-версія закрита WAF/Cloudflare, тому ви абсолютно праві - потрібно імітувати запити офіційного мобільного додатку.

Під капотом мобільний API - це стандартні HTTP/HTTPS запити (REST/JSON), і завдання зводиться до правильної еймуляції пристрою.

Мій стек і алгоритм реалізації:
1. Аналіз трафіку: Налаштування зв'язки (підніму Mitmproxy / Charles Proxy) для перехоплення запитів Android-додатку.
2. Обхід захисту: За необхідності розгорну Frida для декомпіляції/обходу SSL Pinning (якщо додаток перевіряє сертифікат безпеки і блокує проксі).
3. Реверс-інжиніринг: Виділення цільових ендпоінтів (каталог, картка товару, ціни), аналіз структури заголовків (headers, User-Agent, device_id) і логіки генерації/оновлення токенів авторизації.
4. Автоматизація: Написання чистого, оптимізованого скрипта на PHP (Laravel HTTP Client / cURL), який буде циклічно збирати дані в обхід будь-яких блокувань, прикидаючись реальним мобільним пристроєм.
… 5. Передача: Оформлю лаконічну документацію (який запит куди летить, які токени оновлювати), щоб ви могли легко підтримувати скрипт.

Досвід роботи з API-інтеграціями та реверсом запитів великий.

Термін: 4-5 днів (з урахуванням часу на розбір можливого SSL Pinning).

Показати оригінал

Перекласти

Зробив таке для кількох e-commerce проектів: ставив mitmproxy або Charles на Android-пристрої, знімав трафік мобільного додатку і витягував потрібні ендпоінти з заголовками, токенами і параметрами запитів. Розетка зокрема має досить стабільне мобільне API, тож завдання зрозуміле. Питання: потрібен разовий аналіз і документування API, чи одразу потрібен робочий парсер, який буде автоматично відправляти запити? Готовий обговорити обсяг і терміни.

Показати оригінал

Перекласти

Вітаю, зроблю. Вмію сніфити трафік з мобільних додатків. Присилайте повне ТЗ в особисті повідомлення, обговоримо детальніше.

Показати оригінал

Перекласти

Добрий день.

Займався збором даних через API та парсингом e-commerce проєктів. Можу розібратися зі структурою запитів застосунку, реалізувати збір потрібних даних і підготувати код у зрозумілому вигляді з поясненнями.

Для оцінки потрібно уточнити, з якого саме сервісу починаємо та які дані потрібно отримувати.

Після цього зможу сказати терміни та вартість.

напишіть, яке застосування я проаналізую та оціню

Показати оригінал

Перекласти

Доброго дня. Завдання зрозумів: потрібен не звичайний парсинг верстки, а збір даних через внутрішнє мобільне API додатку. Тобто перехопити трафік Android-додатку, знайти реальні endpoints та їх заголовки, розібратися, як додаток отримує та оновлює токен авторизації, і на цій основі написати скрипт, який тягне дані безпосередньо через API, плюс документація, щоб ви підтримували рішення самі.

По кроках бачу так. Спочатку ставлю перехоплення трафіку додатку через проксі (mitmproxy або Charles) з підміною сертифіката, при необхідності обхожу certificate pinning, щоб побачити реальні запити. Далі розбираю, які endpoints викликає додаток, які заголовки та підписи передаються, як влаштована авторизація та оновлення токена. Потім відтворюю ці запити в Python вже без додатку, з коректними заголовками та автоматичним оновленням токена, і збираю дані в потрібному вам форматі. В кінці документую логіку запитів та токенів, щоб ви могли самі виправляти, якщо на стороні магазину щось зміниться.

Чому саме через мобільне API, а не парсинг сторінок, мені зрозуміло: внутрішнє API віддає чисті структуровані дані, на ньому менше захисту та капч, ніж на вебі, і він працює стабільніше. З реверс-інжинірингом мобільних та веб API, перехопленням трафіку та відтворенням запитів з токенами в Python працював.

Щоб оцінити точніше: яке додаток або магазини першими в пріоритеті, і які саме дані потрібні (каталог, ціни, залишки, картки товару)? І збір разовий чи регулярний за розкладом?

Показати оригінал

Перекласти

Доброго дня! Саме через мобільний API і працюю — піднімаю проксі (mitmproxy/Frida на Android), знімаю реальні запити застосунку, розбираю headers і схему токена (як видається й оновлюється) і вже на цьому пишу збирач напряму до API, без крихкого HTML-парсингу. По rozetka й подібних e-commerce орієнтуюсь. Документацію з логікою лишу, щоб ви могли підтримувати рішення самі. Скільки приблизно товарів і категорій треба знімати за один прогін? Від цього залежить тротлінг і терміни.

Доброго дня. Готовий виконати цей проект, маю великий досвід розробки різних додатків.

Показати оригінал

Перекласти

ШІ-рішення для такого збору у нас вже є практично готове, можна швидко адаптувати під ваш джерело і обговорити це в переписці біржі, я на зв'язку ))
по термінам я б запропонував перший технічний етап на 5-7 днів - перехоплення трафіку, карта запитів, перевірка авторизації, прототип збору даних через мобільне апі та коротка документація.
дивіться, тут нюанс - важливо, щоб був легальний сценарій доступу і без обходу захисту, інакше рішення може бути крихким і ризикованим.
з подібного досвіду - працювали з маркетплейсами, інтеграціями, моніторингом даних, особистими кабінетами та автоматизацією бізнес-процесів.
документацію зробимо так, щоб ви могли підтримувати рішення самі, плюс можна додати іі-контроль змін апі та сповіщення, якщо джерело змінило відповіді або авторизацію.
уточніть, будь ласка, яке саме android-додаток потрібно аналізувати і які поля по товарам потрібні в першій версії.
ще питання - чи є у вас тестовий акаунт в додатку і приклад бажаної вигрузки.
https://business.ingello.com/prime-eva - схоже по частині e-commerce, складних інтеграцій та виробничих процесів.
https://business.ingello.com/eva - ближче всього по моніторингу маркетплейсів та збору даних.
… https://business.ingello.com/vorfahr - опосередковано близько по saas та іі-автоматизації.
головна сторінка для біржі - https://systems-fl.ingello.com

Показати оригінал

Перекласти

Привіт!

У мене великий досвід розробки рішень для парсингу та обробки даних (різні джерела, захист від блокувань, автоматизація). Готовий виконати поставлене завдання в найкоротші терміни.

Пропоную обговорити деталі в особистих повідомленнях.

Показати оригінал

Перекласти

Доброго дня. Робив парсинг захищених мобільних додатків Copart.com та getContact.com і багато інших. Дуже добре в цьому розбираюся. Зможу написати, який потрібен парсинг. Пишіть, обговоримо.

Показати оригінал

Перекласти

Привіт, є досвід у перехопленні мобільного трафіку (не просто емулятор + SSL сертифікати + MITM Proxy), а повноцінне кастомне рішення, для нормального байпасу безпекових інструментів.
Скрапив багато платформ через такий метод (Глово, болт, убер фудс. Раніше навіть твіттер.)

Можу допомогти з вирішенням питання. Напишіть в особисті, обговоримо.

Доброго дня!
Маю значний досвід перехоплення та аналізу трафіку мобільних API (Android), зокрема e-commerce платформ. Готовий реалізувати автоматичний парсинг даних з rozetka та аналогічних ресурсів, включаючи розшифровку авторизації та детальну документацію.

Надам реальні кейси роботи з API та проксі в ЛС. Звертайтесь для обговорення деталей.

Завдання повністю зрозуміле. Звичайний веб-скрейпінг тут дійсно не спрацює, оскільки мобільні додатки (особливо великі e-commerce типу Rozetka) мають зовсім іншу логіку авторизації, захисту та генерації токенів. Готовий реалізувати це завдання на Python.Як саме буде виконано ваш проєкт:Перехоплення трафіку: Налаштую проксі-сервер (Mitmproxy / Charles Proxy) на Android-емуляторі для повного аналізу запитів додатка. Якщо є SSL Pinning — обійду його за допомогою інструментів реверс-інжинірингу (Frida/Objection).Аналіз API: Знайду точні endpoints, виділю необхідні headers, dynamic keys та розберу логіку роботи та оновлення токенів авторизації.Автоматизація: Напишу швидкий асинхронний скрипт на Python (Aiohttp / Requests) для стабільного збору даних через знайдене мобільне API.Документація: Передам вам чистий код із детальними коментарями та інструкцією, щоб ви могли легко підтримувати скрипт самостійно.Маю сертифікат Python Essentials та успішні кейси на платформі. Готовий показати деталі аналогічних рішень в особистих повідомленнях. Напишіть мені, обговоримо деталі!

Вітаю! Маю дуже широкий досвіт як в розробці скрейперів так і в самому скрейпінгу.
1. Створимо адекватне ТЗ робіт
2. Реалізую скрейпер. використовуючи технічний стек за вашим бажанням
3. Отримаєте аналіз, данні, які будуть чітко описані та структуровані
Пишіть, обсудимо!

Готовий співпрацювати. Є досвід збору з rozetka по API. ______

Показати оригінал

Перекласти

Добрий день! Ми маємо досвід роботи з перехопленням трафіку мобільних додатків та аналізом ендпоінтів для парсингу e-commerce платформ. Реалізуємо це через налаштування проксі-серверів, декомпіляцію APK та емуляцію заголовків для обходу захисту. Готові оперативно розпочати аналіз запитів та структуризацію даних.

Показати оригінал

Перекласти

Привіт, я Python - розробник, маю досвід у розробці парсерів різної складності. Можу виконати ваш проект швидко та якісно. Пишіть - обговоримо деталі. Приступити до роботи готовий вже сьогодні. Є великий досвід роботи з API.

Показати оригінал

Перекласти

Вітаю. Мій підхід до цього проєкту базуватиметься на глибокому аналізі мобільного трафіку через спеціалізовані проксі-інструменти для ідентифікації прихованих API-ендпоінтів та детального вивчення механізмів авторизації, включно з управлінням токенами. Я розроблю масштабоване та відмовостійке рішення з використанням асинхронних запитів, ефективною обробкою помилок та інтеграцією стратегій для уникнення блокувань, забезпечуючи стабільний збір даних та високу продуктивність. Маю значний досвід у реверс-інжинірингу мобільних API для e-commerce платформ і володію готовими програмними модулями, які суттєво прискорять реалізацію та забезпечать надійність рішення. Фінальний результат буде супроводжуватися чіткою технічною документацією для легкої подальшої підтримки. Всі деталі реалізації, кінцевий бюджет та терміни пропоную обговорити в особистих повідомленнях.

Доброго дня, готовий виконати ваше завдання швидко та якісно. маю великий досвід у створенні різноманітних парсерів. Напишіть у особисті повідомлення обговоримо деталі. Залюбки допоможу)