Гібридний Workflow (Scraping + Claude 3.5 API) для масової генерації карток товарів

Доброго дня! 3-тє місце соло на AI Agent Olympics Hackathon (AI Week 2026 Milan, найбільша AI-подія Європи, 731 команда). Production multi-agent + RAG системи на n8n + Claude - основний стек, MSc Strategic PM, PRINCE2.

По питаннях:

Cloudflare bypass: Scrapfly або ZenRows як основний шлюз через HTTP Request ноду (residential IP rotation + browser fingerprinting, ~65% domain coverage в 2026). Bright Data як fallback на складних доменах. ScrapeOps теж робочий варіант, але дешевший Scrapfly зазвичай дає кращу success rate на Cloudflare/DataDome.

Стабільний JSON від Claude: використовую нативний Structured Outputs (output_config.format з JSON schema) - це офіційна фіча Claude API, не prompt engineering. Гарантує валідний JSON під schema, наступні ноди в n8n не падають. Плюс fallback: JSON Parse нода з try/catch + retry з temperature 0. До речі, для production рекомендую Sonnet 4.6 або Opus 4.7 замість 3.5 - кращий JSON compliance та дешевше за токен на 4.6.

Орієнтовно: 7-10 днів, 15 000 грн.
…
Портфоліо у профілі

Показати оригінал

Перекласти

Привіт, Георгію, свій останній проєкт я реалізував саме з використанням scrapling та інтеграції LLM.
Давайте по черзі:
1. Для інтеграції з Google Sheets можна використовувати ноду з офіційним API.
2. Обхід капчі, зараз є два підходи, що працюють:
1) Використовувати scrapling з їх вбудованим DynamicFetcher із налаштуванням stealthy.
2) Використовувати з CDP до CloakBrowser — найнадійніше.
3. Підключити можна трьома способами:
1) Написати легкий backend і звертатися до нього (надійно і стабільно)
2) Написати власну ноду (вимогливий за часом)
… 3) Використовувати ноду Execute Command (але це менш стабільно, ніж перший варіант)
4. Для відповідей llm є вбудовані валідації structure output. Також можна підключитися через openrouter (у них є додатковий захист для цього)
Отже, мій рекомендований варіант — це створити свій невеликий backend і звертатися до нього, використовуючи n8n. Це добре вписується в логіку, описану вами.
Буду радий працювати з вами!

Доброго дня, Георгій!

Я спеціалізуюся на розробці автоматизованих AI/workflow систем, інтеграціях та побудові пайплайнів на n8n з використанням LLM-моделей, парсерів і сторонніх API. Працюю з задачами, де важлива стабільність обробки даних, масштабованість і контроль структури між вузлами. Ваш кейс виглядає як добре продуманий production-пайплайн, і це якраз той формат задач, де n8n підходить дуже добре як orchestration layer.

Для того щоб сформувати для вас об'єктивну оцінку по термінах та вартості, хотів би уточнити кілька моментів:

— Який орієнтовний обсяг обробки планується (товарів / донорів на добу)?
— Чи всі донори однотипні по структурі, чи потрібен буде окремий mapping/parsing під різні сайти?
— XML/YML фід формується під конкретний маркетплейс чи під власний стандарт?
… — Чи потрібне кешування/збереження проміжних результатів (наприклад parsed raw data або AI output)?
— VPS вже розгорнутий під n8n чи це також потрібно налаштувати?

Щодо ваших питань:

Для обходу Cloudflare у n8n я б використовував ScrapeOps або ZenRows з ротацією проксі та browser rendering. Якщо донори складніші — Playwright/Puppeteer через окремий microservice, який n8n викликає webhook’ом. Це дає значно стабільніший parsing flow у production.

Для Claude API я б використовував суворий JSON-mode під schema validation: чіткий system prompt + predefined JSON schema + додатковий validation layer у n8n (IF/Function node), щоб жоден некоректний response не ламав наступні вузли. Для критичних структур (категорії, теги) — ще й fallback/retry logic.

Після ваших відповідей зможу вже точно оцінити обсяг робіт, запропонувати оптимальну архітектуру та дати реалістичні терміни й бюджет.

Георгій, пропоную обговорити деталі в особистих повідомленнях — зможу допомогти зібрати не просто workflow, а стабільний production-ready pipeline, який буде масштабуватись без постійних ручних правок

Доброго дня
Мене звати Дмитро. Маю досвід з n8n, AI automation, Claude API, парсингом, workflow orchestration та e-commerce автоматизаціями.
Ваш pipeline виглядає дуже грамотно побудованим — особливо подобається підхід із JSON-only AI flow та розділенням логіки по етапах.
Можу допомогти з:
— побудовою та стабілізацією n8n workflow
— інтеграцією Google Sheets/Drive API
— Claude API orchestration
— Cloudflare bypass parsing
— XML/YML feed generation
… — error handling / retry logic
— queue processing
— VPS deployment та proxy setup
Відповіді на питання:
1. Для Cloudflare parsing у n8n найкраще використовував би ZenRows або ScrapeOps + fallback strategy через rotating proxies/browser rendering. Для складних кейсів — headless browser node (Playwright/Puppeteer через external worker).
2. Для Claude API використовував би strict JSON schema approach:
— system prompt із жорсткою структурою
— JSON mode / prefilled response template
— validation node після Claude
— fallback parser + auto-retry при invalid JSON
— enums/allowed values для категорій і тегів
Так workflow не буде ламати наступні вузли.
По строках: орієнтовно 1–3 тижні залежно від складності парсерів та кількості donor sources.
Бюджет: після перегляду повного ТЗ.

Показати оригінал

Перекласти

Привіт! У мене є відповідний досвід з подібними завданнями, і я можу допомогти з вашим проектом. Я можу швидко ознайомитися з вимогами, запропонувати найкраще рішення та ретельно виконати роботу. Готовий обговорити деталі та почати.

Доброго дня! 👋

По вашим питанням:

Для обходу Cloudflare — ZenRows або ScraperAPI через HTTP Request node з ротацією проксі.
Стабільна структура від Claude — system prompt з жорсткою JSON-схемою + temperature: 0 + валідація в Function node з повторним запитом при невалідному JSON.
Реалізуємо повністю — всі 4 етапи від читання Google Sheets до готового XML/YML фіду. Готові взятися одразу. Деталі обговоримо в особистих 🤝

Вітаю! Ми — команда розробників із 4-річним досвідом у розробці ботів, автоматизації процесів та професійному парсингу даних на Python. Гібридні воркфлоу на базі Claude 3.5 — один із найкращих способів якісно діставати та структурувати інформацію, що часто змінюється. Ми візьмемо на себе повний цикл: від написання надійного скрапера (скриптів обходу блокувань) до інтеграції нейромережі для інтелектуальної аналітики зібраного контенту. Оскільки ми команда, ви отримаєте протестоване та відмовостійке рішення під ключ із продуманою архітектурою. Давайте обговоримо в особистих повідомленнях обсяги даних та цільові сайти для точного налаштування системи!

Вітаю! Наша команда має 4 роки досвіду у сфері автоматизації, парсингу даних та розробки розумних ботів. Ми спеціалізуємося на Python та побудові складних систем збору інформації, тому інтеграція Claude 3.5 для обробки неструктурованих даних у гібридному воркфлоу — це наше профільне завдання. Ми чудово розуміємо, як оптимізувати промпти, обійти захист сайтів за допомогою проксі та налаштувати гнучку логіку фільтрації контенту через API Antropic. Забезпечимо чистий код, високу швидкість парсингу, захист даних та стабільну роботу архітектури за будь-яких змін структури цільових ресурсів. Готові обговорити логіку пайплайну та формат вихідних даних прямо зараз. Коли вам зручно поспілкуватися в чаті?

Доброго дня, без проблем реалізую все під ключ, маю більше 5ти років досвіду в автоматизації бізнес рішень на Python, працював з великими брендами, та розробив більше 50 автоматизацій, з та без ШІ, хотів би детальніше глянути на тех завдання, якщо воно написане через ШІ 70% потрібно буде переробити оскільки вони частіше всього не правильно підбирають технології чи рішення. Проведу по кожному етапу, відповім на любі запитання. Звертайтесь!

Вітаю.

Можу налаштувати для вас workflow. Пишіть, обговоримо.

у нас уже є майже готове схоже рішення для ШІ-генерації карток і фідів, його можна швидко адаптувати під ваші таблиці, донорів і правила маркетплейсу ))

по термінах я б орієнтувався на 5-7 днів для першого стабільного етапу.
по бюджету - від 18000 грн за робочий конвеєр у n8n з логами, структурованим JSON і експортом у XML або YML.
6500 грн, скоріше за все, вистачить тільки на прототип без нормального запасу по помилках парсингу.

на Telegram не зможу перейти в межах першого контакту - біржа може забанити обидві сторони.
можемо все узгодити тут.

… по Cloudflare я б використовував ZenRows, ScrapeOps або Apify з браузерним рендерингом, ротацією проксі, повторними спробами і кешем результату.

по Claude API - через сувору схему даних.
Я Б налаштував окремі вузли валідації після кожного ШІ-кроку, JSON schema, обмежений перелік категорій зі словників, повторний запит при невалідній структурі і запасний сценарій, коли поле не визначено.
так наступні вузли n8n не ламаються через зайву кому або неочікуваний формат.

> питання 1 - у вашому ТЗ уже заданий кінцевий формат фіду під конкретний маркетплейс чи треба буде звірити обовязкові поля на етапі реалізації
> питання 2 - скільки донорів і приблизно скільки товарів треба обробляти за один запуск

схожі кейси Ingello
> https://business.ingello.com/vorfahr - автоматизація з ШІ та обробкою даних
> https://business.ingello.com/prime-eva - e-commerce і системна робота з товарними даними
> https://business.ingello.com/fractal - багатоагентні процеси і складні автоматизації

головна сторінка для FLH
> https://systems-fl.ingello.com/ua

можу взяти перший етап - зібрати робочий сценарій у n8n, підключити таблицю, парсер, Claude, валідацію JSON, логування помилок і тестовий експорт фіду.
на звязку ))

Привіт! Я вивчив ваш проект і готовий негайно розпочати роботу. Гарантую відмінну якість і оперативність.

Показати оригінал

Перекласти

Вітаю. Чотири етапи з Cloudflare-обходом і трьома послідовними Claude-вузлами в JSON-режимі - це не типовий n8n-флоу, тут треба думати про retry-логіку та обробку edge-кейсів на рівні даних, а не просто з'єднувати ноди. За минулий рік зібрав два схожих конвеєри під e-commerce: один на ScrapeOps + n8n для 800+ SKU щодня, другий з ZenRows + OpenRouter для мульти-ядерного парсингу. Обидва видають YML-фіди без ручного втругання. Для Cloudflare - ZenRows з JS-рендерингом, бо ScrapeOps часто прокидається на складних челенджах. Для стабільного JSON від Claude - окремий system prompt з прикладом (few-shot) плюс вузол валідації через zod-схему перед передачею далі; якщо Claude повертає битий JSON - вузол ловить, логує і кидає на retry з температурою 0.1. Щодо термінів - 3-5 робочих днів, бо ТЗ вже готове, але Cloudflare-обхід завжди потребує тестування на реальних донорах. Питання: скільки приблизно сайтів-донорів у пулі і чи є серед них ті, хто використовує PerimeterX чи DataDome? Це вплине на вибір шлюзу та кількість тестових ітерацій.