Спрощена служба збору даних на основі API
Привіт,
Я шукаю **оптимізовану, API-орієнтовану службу збору даних** для sahibinden.com — спеціально адаптовану до фільтрованого URL, який я надам. Ця служба повинна бути ефективною, стійкою до захисту Cloudflare і повертати чисті JSON-відповіді.
**Обсяг роботи:**
- Використовуйте наданий фільтрований URL (наприклад, нерухомість або транспортні засоби) як вхідну точку.
- Збирайте дані з обох:
• **Сторінка списку**: заголовок, URL, резюме.
• **Сторінка деталей**: інформація про користувача, ціна, дата розміщення, URL зображень та категорійний тег (наприклад, "нерухомість", "транспортний засіб" або "інше").
- Поверніть добре структурований **JSON-вихід**.
**Ключові технічні вимоги:**
- Відкритий як **HTTP API служба** — клієнт робить HTTP-запит з URL і отримує JSON у відповідь.
- Повинен бути стійким до заходів захисту Cloudflare від ботів, зокрема, обробляти помилки 429 Занадто багато запитів коректно.
- **Додаткова підтримка проксі** (служба може або не може використовувати проксі залежно від конфігурації).
- Повинен включати стратегію обходу або пом'якшення капчі (наприклад, API для розв'язання CAPTCHA або м'яке оброблення помилок).
- Надійне управління сесіями (куки, заголовки тощо), обмеження швидкості, експоненційне зменшення, логіка повторних спроб і ведення журналу.
**Результати:**
1. **MVP Доказ концепції**: Робочий приклад для наданого URL (код + коротке демонстраційне відео).
2. **Служба, готова до виробництва**: Docker-застосунок, README, що описує використання API, формат запиту/відповіді, параметри та приклади.
3. **Обслуговування**: Гарантія незначних оновлень (наприклад, зміни структури HTML) протягом перших 30 днів після доставки.
**Терміни:** Будь ласка, запропонуйте свій графік (наприклад, 1 тиждень для MVP, ще 1 тиждень для фіналізації).
**Бажані навички та досвід:**
- Веб-збір даних та автоматизація за допомогою **Playwright** або **Puppeteer**.
- Практичний досвід з **обходом Cloudflare та стратегіями проти ботів**.
- Конфігурація проксі та логіка обходу.
- Додатково: методи розв'язання CAPTCHA.
- Розробка API-сервісу з чіткою документацією.
**Щоб подати заявку:**
- Поділіться попередніми прикладами PoC або проектів (бажано з JSON-виходами).
- Надайте коротке технічне пояснення вашого підходу.
- Включіть приклад використання API та повернуту структуру JSON.
Чекаю на співпрацю з уважним, орієнтованим на деталі розробником!
-
2 дні11 231 UAH
267 2 дні11 231 UAHПривіт! Я створю спрощений сервіс HTTP-скрапінгу для sahibinden.com, адаптований до вашого відфільтрованого URL. Він буде стійким до Cloudflare і повертатиме чистий JSON.
-
1 день44 923 UAH
96620 1276 1 10 1 день44 923 UAHПривіт. У мене є досвід роботи з Puppeteer. Я готовий до співпраці.
-
14 днів22 461 UAH
3305 70 1 14 днів22 461 UAHПривіт,
Я готовий обговорити ваш проект. У мене є великий досвід роботи з Puppeteer, а також досвід у створенні API для управління додатками, планування завдань та отримання результатів виконання.
Орієнтовний термін: 1 тиждень для прототипу та додатковий тиждень для фіналізації.
-
14 днів15 723 UAH
5149 210 0 14 днів15 723 UAHПривіт,
Я готовий обговорити ваш проект. У мене є великий досвід роботи з Puppeteer, а також досвід у створенні API для управління додатками, планування завдань та отримання результатів виконання.
Орієнтовний термін: 1 тиждень для прототипу та додатковий тиждень для фіналізації.
Актуальні фриланс-проєкти в категорії Парсинг даних
Спарсити базу і добавити в тг чатСпарсити базу з Ліст юа і додати по номерам в телеграм чат. Чат на тему ремонту та дизайну інтер`єру. Парсинг даних, Робота з клієнтами ∙ 13 годин 27 хвилин тому ∙ 19 ставок |
Потрібно розробити Telegram-бота для моніторингу автомобілів з аукціонів США (Copart, IAAI)Потрібно створити Telegram-бота для автоматичного пошуку та моніторингу автомобілів "BUY IT NOW" на аукціонах США (Copart, IAAI) Бот повинен працювати в автоматичному режимі та надсилати повідомлення про нові автомобілі, які відповідають заданим фільтрам.Основний… Парсинг даних, Розробка ботів ∙ 21 година 49 секунд тому ∙ 70 ставок |
Парсинг товарів, підготовка до імпорту на WPСпарсити повний каталог цих сайтів: https://svit-mebliv.ua/ https://kompanit.com.ua/ru https://amia.com.ua/ https://mebliromax.com.ua/ https://pehotin.com.ua/catalog/ https://www.sokme.ua/ru/ Всі товари потрібно об'єднати в одну загальну таблицю для імпорту в WP. Кожен товар… Веб-програмування, Парсинг даних ∙ 3 дні 13 годин тому ∙ 57 ставок |
Требуется спеціаліст з просування в Telegram.
1273 UAH
Завдання: інвайт реальних користувачів за базою юзернеймів у нові чати та розсилка повідомлень по цільовій базі. Цікавить тільки якісний трафік і робота з живою аудиторією — виконавців, які використовують ботів, накрутку або неякісні методи, прохання НЕ БЕСПОКІТЬ. Робота… Парсинг даних, Просування у соціальних мережах (SMM) ∙ 8 днів 13 годин тому ∙ 9 ставок |
Консультація по парсингу підписників Instagram-акаунтівДоброго дня. Необхідно провести попередню оцінку можливості виконання наступного завдання. У мене є список Instagram-акаунтів. Мета — отримати контактні дані (в першу чергу email-адреси) користувачів, які підписані на ці акаунти. Раніше мені зустрічалися компанії та сервіси, які… Парсинг даних ∙ 12 днів 8 годин тому ∙ 13 ставок |