Спрощена служба збору даних на основі API
Привіт,
Я шукаю **оптимізовану, API-орієнтовану службу збору даних** для sahibinden.com — спеціально адаптовану до фільтрованого URL, який я надам. Ця служба повинна бути ефективною, стійкою до захисту Cloudflare і повертати чисті JSON-відповіді.
**Обсяг роботи:**
- Використовуйте наданий фільтрований URL (наприклад, нерухомість або транспортні засоби) як вхідну точку.
- Збирайте дані з обох:
• **Сторінка списку**: заголовок, URL, резюме.
• **Сторінка деталей**: інформація про користувача, ціна, дата розміщення, URL зображень та категорійний тег (наприклад, "нерухомість", "транспортний засіб" або "інше").
- Поверніть добре структурований **JSON-вихід**.
**Ключові технічні вимоги:**
- Відкритий як **HTTP API служба** — клієнт робить HTTP-запит з URL і отримує JSON у відповідь.
- Повинен бути стійким до заходів захисту Cloudflare від ботів, зокрема, обробляти помилки 429 Занадто багато запитів коректно.
- **Додаткова підтримка проксі** (служба може або не може використовувати проксі залежно від конфігурації).
- Повинен включати стратегію обходу або пом'якшення капчі (наприклад, API для розв'язання CAPTCHA або м'яке оброблення помилок).
- Надійне управління сесіями (куки, заголовки тощо), обмеження швидкості, експоненційне зменшення, логіка повторних спроб і ведення журналу.
**Результати:**
1. **MVP Доказ концепції**: Робочий приклад для наданого URL (код + коротке демонстраційне відео).
2. **Служба, готова до виробництва**: Docker-застосунок, README, що описує використання API, формат запиту/відповіді, параметри та приклади.
3. **Обслуговування**: Гарантія незначних оновлень (наприклад, зміни структури HTML) протягом перших 30 днів після доставки.
**Терміни:** Будь ласка, запропонуйте свій графік (наприклад, 1 тиждень для MVP, ще 1 тиждень для фіналізації).
**Бажані навички та досвід:**
- Веб-збір даних та автоматизація за допомогою **Playwright** або **Puppeteer**.
- Практичний досвід з **обходом Cloudflare та стратегіями проти ботів**.
- Конфігурація проксі та логіка обходу.
- Додатково: методи розв'язання CAPTCHA.
- Розробка API-сервісу з чіткою документацією.
**Щоб подати заявку:**
- Поділіться попередніми прикладами PoC або проектів (бажано з JSON-виходами).
- Надайте коротке технічне пояснення вашого підходу.
- Включіть приклад використання API та повернуту структуру JSON.
Чекаю на співпрацю з уважним, орієнтованим на деталі розробником!
-
2 дні11 087 UAH
267 2 дні11 087 UAHПривіт! Я створю спрощений сервіс HTTP-скрапінгу для sahibinden.com, адаптований до вашого відфільтрованого URL. Він буде стійким до Cloudflare і повертатиме чистий JSON.
-
1 день44 349 UAH
93984 1263 1 10 1 день44 349 UAHПривіт. У мене є досвід роботи з Puppeteer. Я готовий до співпраці.
-
14 днів22 175 UAH
3356 70 1 14 днів22 175 UAHПривіт,
Я готовий обговорити ваш проект. У мене є великий досвід роботи з Puppeteer, а також досвід у створенні API для управління додатками, планування завдань та отримання результатів виконання.
Орієнтовний термін: 1 тиждень для прототипу та додатковий тиждень для фіналізації.
-
14 днів15 522 UAH
5195 210 0 14 днів15 522 UAHПривіт,
Я готовий обговорити ваш проект. У мене є великий досвід роботи з Puppeteer, а також досвід у створенні API для управління додатками, планування завдань та отримання результатів виконання.
Орієнтовний термін: 1 тиждень для прототипу та додатковий тиждень для фіналізації.
Актуальні фриланс-проєкти в категорії Парсинг даних
БОТ, ТГ
10 000 UAH
всім привіт, друзі. Буду старатись описати що потрібно більш детально, але при винекненні питань більш поглиблено та уточнення обсудимо в особоистих повідомленнях. В нас направлення продаж в будівельній сфері: загалом це кілька каналів продажів, кілька ТГ каналів.… Парсинг даних, Розробка ботів ∙ 1 година 6 хвилин тому ∙ 13 ставок |
Потрібен парсер інтернет-магазину https://www.lcsc.com/потрібно регулярно (1 раз на місяць, або при запуску скрипта) отримувати актуальну інформацію про товари в наявності магазину https://www.lcsc.com/ з каталогу всіх розділів… Парсинг даних ∙ 1 день 1 година тому ∙ 41 ставка |
OpenCart — каталог оренди спецтехніки
6000 UAH
OpenCart — каталог оренди спецтехніки Потрібно запустити каталог оренди спецтехніки на OpenCart. Тематика: екскаватори; автовишки; навантажувачі; генератори; крани; риштування; інша будівельна техніка. Бажано, щоб у вас вже був готовий шаблон або напрацювання під… Веб-програмування, Парсинг даних ∙ 1 день 17 годин тому ∙ 55 ставок |
Перенести програму - слетів сервер, де була програма (офіційний дозволений парсинг державних даних)
2061 UAH
Добрий! У мене у клієнта стався даний кейс, описаний нижче. Потрібно допомогти перенести на новий сервер і протестувати програму. Краще програміст, який розбирається в парсингу. Налаштування ПЗ та серверів, Парсинг даних ∙ 1 день 21 година тому ∙ 29 ставок |
Парсинг сайтуПотрібна реалізація 4 парсерів (сайти каталоги) Є ТЗ, є приклад коду як референс. В завдання входить: Написати парсер Прикрутити проксі Логіка дедублікації (перенести логіку з прикладу) Логіка хешування по 3 полям Парсер має працювати як пайплайн з логікою, що описана… Парсинг даних ∙ 3 дні 14 годин тому ∙ 44 ставки |