Парсер в реальному часі складному сайту
Технічні виклики (системи захисту сайту)
Web Application Firewall (WAF)
Використовується хмарний фільтр (аналог Cloudflare), який аналізує трафік і блокує підозрілі запити за допомогою машинного навчання та аналізу поведінки.Перевірка HTTP-заголовків і відбитків браузера
Система виявляє невідповідності в заголовках (наприклад, конфлікт між User-Agent і наборами заголовків, типових для реальних браузерів).Виявлення автоматизованих браузерів
Захист розпізнає headless-браузери (Selenium, Puppeteer, Playwright) за властивостямиnavigator.webdriverта аномальною поведінкою.JavaScript-челленджі та динамічна верифікація
На клієнті виконується JavaScript-код, який збирає дані про пристрій, ОС, GPU та час відгуку, що ускладнює емуляцію.Поведінковий аналіз користувача
Система моніторить швидкість і частоту запитів, рух курсора, послідовність кліків та інші ознаки реального користувача.TLS- та Canvas-фінгерпринтинг
Створюється унікальний відбиток з'єднання на основі параметрів TLS, ОС, відеокарти та браузера.Блокування та репутація IP
Кожен IP отримує “оцінку довіри” (trust score); підозрілі адреси вимагають CAPTCHA або блокуються.Захист WebSocket-з'єднань
Доступ до потокових даних можливий лише після отримання валідних параметрів з сайту, що ускладнює пряме підключення.
-
10 днів22 456 UAH
953 5 0 10 днів22 456 UAHПривіт, Слава, готовий виконати ваш проект.
У мене є хороший досвід в обхід захисту сайтів від парсингу. Капча, проксі та спецбраузери. Великий досвід роботи з захистом як з "чорним ящиком", коли вектор детекції максимально розмитий.
Підберу оптимальні сервіси, типу антикапча, за співвідношенням ціна\якість.
Забезпечу довгострокову підтримку за адекватну ціну, оскільки такий парсер без постійної модернізації довго не протримається.
Витратні матеріали для розробки парсера з вас, від мене повні звіти, з вказівкою що і куди було витрачено.
-
30 днів134 738 UAH
301 30 днів134 738 UAHДоброго дня, напишіть, будь ласка, який сайт парсити. Є досвід у подібному.
-
5 днів8983 UAH
5178 210 0 5 днів8983 UAHДоброго дня.
Поки що важко щось сказати про ваш проект. Можете надіслати посилання на сайт, а також описати, які дані потрібно парсити?
-
5 днів8983 UAH
3447 28 0 5 днів8983 UAHНапишіть сайт у особисті, потрібно подивитися. Щоб зрозуміти, скільки це буде коштувати.
-
21 день112 281 UAH
1678 18 1 1 21 день112 281 UAHНайбільш viable рішення - взяти існуючий стелс-браузер (anty, octo) і автоматизувати його. Це вирішує проблеми з детектуванням navigator.webdriver (і інших параметрів, що вказують на controlled browser), фингерпринтингом, заголовками, локалями, екстеншенами тощо.
- Для обходу проблем з довірою до IP можна побудувати невеликий мікросервіс, який буде брати IP у проксі-провайдера, перевіряти за публічними базами trust score адреси і або скасовувати його оренду, або передавати в профіль стелс-браузера.
- Вирішувати капчу через сторонні сервіси, на кшталт capmonster.
- user behavior через емуляцію реальної поведінки. Наприклад: рух миші до елемента по кривій Без'є, введення даних з затримкою, прозорий перехоплення відповідей від сервера (замість ініціації власних запитів) тощо.
Ви не вказали сайт, тому складно оцінити обсяг роботи детально. Потенційно бюджет від $2 500 до $7 000.
-
Може його тоді луче не парсити, раз вони нехочуть щоб ті дані так парсилися)
-
Може краще за опис було залишити посилання для аналізу?
-
Стільки погроз замість посилання?
-
У мене був у роботі веб-ресурс, який навіть зі звичайного браузера не всім давав заходити!
Ссилку в студію, бо ті заявки, що дають виконавці ні до чого якщо вони не зможуть! 😉
-
Актуальні фриланс-проєкти в категорії Парсинг даних
Дослідження преміум-сегменту КиєваДослідження преміум-сегменту Києва Потрібно провести пошук відкритих публічних каналів зв’язку з представниками преміум-сегменту у Києві. Що потрібно зібрати: відкрито опублікований email або телефон для зв’язку, якщо він розміщений у публічному джерелі. Кого шукаємо:… Парсинг даних, Збір інформації ∙ 12 хвилин тому ∙ 2 ставки |
Требуется спеціаліст з просування в Telegram.
1286 UAH
Завдання: інвайт реальних користувачів за базою юзернеймів у нові чати та розсилка повідомлень по цільовій базі. Цікавить тільки якісний трафік і робота з живою аудиторією — виконавців, які використовують ботів, накрутку або неякісні методи, прохання НЕ БЕСПОКІТЬ. Робота… Парсинг даних, Просування у соціальних мережах (SMM) ∙ 2 дні 18 годин тому ∙ 8 ставок |
Збір B2B бази даних компаній у Німеччині
1801 UAH
Мета: Отримання списку потенційних роботодавців (клієнтів) для B2B розсилки. Регіон: Мюнхен (München) + радіус 50 км. Вимагані ніші: Будівельні компанії (Bauunternehmen) Продовольчі підприємства (Lebensmittelhersteller, м'ясокомбінати, пекарні) Логістика та складські… Парсинг даних, Продажі та генерація лідів ∙ 2 дні 21 година тому ∙ 33 ставки |
Консультація по парсингу підписників Instagram-акаунтівДоброго дня. Необхідно провести попередню оцінку можливості виконання наступного завдання. У мене є список Instagram-акаунтів. Мета — отримати контактні дані (в першу чергу email-адреси) користувачів, які підписані на ці акаунти. Раніше мені зустрічалися компанії та сервіси, які… Парсинг даних ∙ 6 днів 13 годин тому ∙ 13 ставок |
Потрібен спеціаліст для пошуку контактів ЛПР по УкраїніНеобхідно зібрати базу (чи готова база) контактів осіб, які приймають рішення (ЛПР), у компаніях України. Збір інформації, Парсинг даних ∙ 6 днів 18 годин тому ∙ 20 ставок |
Тель Авів