Гибридный Workflow (Scraping + Claude 3.5 API) для массовой генерации карточек товаров

Доброго дня! 3-е место соло на AI Agent Olympics Hackathon (AI Week 2026 Милан, крупнейшее AI-событие Европы, 731 команда). Production multi-agent + RAG системы на n8n + Claude - основной стек, MSc Strategic PM, PRINCE2.

По вопросам:

Cloudflare обход: Scrapfly или ZenRows как основной шлюз через HTTP Request ноду (residential IP rotation + browser fingerprinting, ~65% доменной охват в 2026). Bright Data как fallback на сложных доменах. ScrapeOps тоже рабочий вариант, но дешевле Scrapfly обычно дает лучшую success rate на Cloudflare/DataDome.

Стабильный JSON от Claude: использую нативный Structured Outputs (output_config.format с JSON schema) - это официальная фича Claude API, не prompt engineering. Гарантирует валидный JSON под schema, следующие ноды в n8n не падают. Плюс fallback: JSON Parse нода с try/catch + retry с temperature 0. Кстати, для production рекомендую Sonnet 4.6 или Opus 4.7 вместо 3.5 - лучший JSON compliance и дешевле за токен на 4.6.

Ориентировочно: 7-10 дней, 15 000 грн.
…
Портфолио в профиле

Показать оригинал

Перевести

Привет, Георгий, свой последний проект я реализовал именно с использованием scrapling и интеграции LLM. Давайте по порядку: 1. Для интеграции с Google Sheets можно использовать ноду с официальным API. 2. Обход капчи, сейчас есть два подхода, которые работают: 1) Использовать scrapling с их встроенным DynamicFetcher с настройкой stealthy. 2) Использовать CDP до CloakBrowser — самое надежное. 3. Подключить можно тремя способами: 1) Написать легкий бэкенд и обращаться к нему (надежно и стабильно) 2) Написать собственную ноду (требует много времени) 3) Использовать ноду Execute Command (но это менее стабильно, чем первый вариант) 4. Для ответов llm есть встроенные валидации structure output. Также можно подключиться через openrouter (у них есть дополнительная защита для этого) Итак, мой рекомендованный вариант — это создать свой небольшой бэкенд и обращаться к нему, используя n8n. Это хорошо вписывается в логику, описанную вами. Буду рад работать с вами!

Показать оригинал

Перевести

Добрый день, Георгий!

Я специализируюсь на разработке автоматизированных AI/workflow систем, интеграциях и построении пайплайнов на n8n с использованием LLM-моделей, парсеров и сторонних API. Работаю с задачами, где важна стабильность обработки данных, масштабируемость и контроль структуры между узлами. Ваш кейс выглядит как хорошо продуманный production-пайплайн, и это как раз тот формат задач, где n8n подходит очень хорошо как orchestration layer.

Для того чтобы сформировать для вас объективную оценку по срокам и стоимости, хотел бы уточнить несколько моментов:

— Какой ориентировочный объем обработки планируется (товаров / доноров в день)?
— Все ли доноры однотипные по структуре, или нужен будет отдельный mapping/parsing под разные сайты?
— XML/YML фид формируется под конкретный маркетплейс или под собственный стандарт?
… — Нужно ли кэширование/сохранение промежуточных результатов (например, parsed raw data или AI output)?
— VPS уже развернут под n8n или это также нужно настроить?

Что касается ваших вопросов:

Для обхода Cloudflare в n8n я бы использовал ScrapeOps или ZenRows с ротацией прокси и browser rendering. Если доноры сложнее — Playwright/Puppeteer через отдельный microservice, который n8n вызывает webhook’ом. Это дает значительно более стабильный parsing flow в production.

Для Claude API я бы использовал строгий JSON-mode под schema validation: четкий system prompt + predefined JSON schema + дополнительный validation layer в n8n (IF/Function node), чтобы ни один некорректный response не ломал последующие узлы. Для критических структур (категории, теги) — еще и fallback/retry logic.

После ваших ответов смогу уже точно оценить объем работ, предложить оптимальную архитектуру и дать реалистичные сроки и бюджет.

Георгий, предлагаю обсудить детали в личных сообщениях — смогу помочь собрать не просто workflow, а стабильный production-ready pipeline, который будет масштабироваться без постоянных ручных правок.

Показать оригинал

Перевести

Добрый день
Меня зовут Дмитрий. У меня есть опыт работы с n8n, AI автоматизацией, Claude API, парсингом, оркестрацией рабочих процессов и автоматизацией в e-commerce.
Ваш pipeline выглядит очень грамотно построенным — особенно нравится подход с JSON-only AI flow и разделением логики по этапам.
Могу помочь с:
— построением и стабилизацией n8n workflow
— интеграцией Google Sheets/Drive API
— оркестрацией Claude API
— обходом Cloudflare при парсинге
— генерацией XML/YML фидов
… — обработкой ошибок / логикой повторных попыток
— обработкой очередей
— развертыванием VPS и настройкой прокси
Ответы на вопросы:
1. Для парсинга Cloudflare в n8n лучше всего использовать ZenRows или ScrapeOps + стратегию резервирования через ротацию прокси/рендеринг браузера. Для сложных случаев — headless browser node (Playwright/Puppeteer через внешний worker).
2. Для Claude API я бы использовал строгий подход к JSON-схеме:
— системный prompt с жесткой структурой
— JSON mode / предзаполненный шаблон ответа
— validation node после Claude
— fallback parser + авто-повтор при invalid JSON
— enums/разрешенные значения для категорий и тегов
Таким образом, workflow не будет ломать последующие узлы.
По срокам: ориентировочно 1–3 недели в зависимости от сложности парсеров и количества donor sources.
Бюджет: после просмотра полного ТЗ.

Показать оригинал

Перевести

Привет! У меня есть соответствующий опыт с подобными заданиями, и я могу помочь с вашим проектом. Я могу быстро ознакомиться с требованиями, предложить лучшее решение и тщательно выполнить работу. Готов обсудить детали и начать.

Показать оригинал

Перевести

Добрый день! 👋

По вашим вопросам:

Для обхода Cloudflare — ZenRows или ScraperAPI через HTTP Request node с ротацией прокси.
Стабильная структура от Claude — system prompt с жесткой JSON-схемой + temperature: 0 + валидация в Function node с повторным запросом при невалидном JSON.
Реализуем полностью — все 4 этапа от чтения Google Sheets до готового XML/YML фида. Готовы взяться сразу. Детали обсудим в личных 🤝

Показать оригинал

Перевести

Здравствуйте! Мы — команда разработчиков с 4-летним опытом в разработке ботов, автоматизации процессов и профессиональном парсинге данных на Python. Гибридные рабочие процессы на базе Claude 3.5 — один из лучших способов качественно извлекать и структурировать информацию, которая часто меняется. Мы возьмем на себя полный цикл: от написания надежного скрапера (скриптов обхода блокировок) до интеграции нейросети для интеллектуальной аналитики собранного контента. Поскольку мы команда, вы получите протестированное и отказоустойчивое решение под ключ с продуманной архитектурой. Давайте обсудим в личных сообщениях объемы данных и целевые сайты для точной настройки системы!

Показать оригинал

Перевести

Здравствуйте! Наша команда имеет 4 года опыта в сфере автоматизации, парсинга данных и разработки умных ботов. Мы специализируемся на Python и построении сложных систем сбора информации, поэтому интеграция Claude 3.5 для обработки неструктурированных данных в гибридном воркфлоу — это наша профильная задача. Мы отлично понимаем, как оптимизировать промпты, обойти защиту сайтов с помощью прокси и настроить гибкую логику фильтрации контента через API Antropic. Обеспечим чистый код, высокую скорость парсинга, защиту данных и стабильную работу архитектуры при любых изменениях структуры целевых ресурсов. Готовы обсудить логику пайплайна и формат выходных данных прямо сейчас. Когда вам удобно пообщаться в чате?

Показать оригинал

Перевести

Добрый день, без проблем реализую все под ключ, имею более 5 лет опыта в автоматизации бизнес-решений на Python, работал с крупными брендами и разработал более 50 автоматизаций, с и без ИИ, хотел бы подробнее взглянуть на техническое задание, если оно написано через ИИ, 70% нужно будет переделать, так как они чаще всего неправильно подбирают технологии или решения. Проведу по каждому этапу, отвечу на любые вопросы. Обращайтесь!

Показать оригинал

Перевести

Здравствуйте.

Могу настроить для вас рабочий процесс. Пишите, обсудим.

Показать оригинал

Перевести

У нас уже есть почти готовое похожее решение для ИИ-генерации карточек и фидов, его можно быстро адаптировать под ваши таблицы, доноров и правила маркетплейса ))

По срокам я бы ориентировался на 5-7 дней для первого стабильного этапа.
По бюджету - от 18000 грн за рабочий конвейер в n8n с логами, структурированным JSON и экспортом в XML или YML.
6500 грн, скорее всего, хватит только на прототип без нормального запаса по ошибкам парсинга.

На Telegram не смогу перейти в рамках первого контакта - биржа может забанить обе стороны.
Можем все согласовать здесь.

… По Cloudflare я бы использовал ZenRows, ScrapeOps или Apify с браузерным рендерингом, ротацией прокси, повторными попытками и кэшем результата.

По Claude API - через строгую схему данных.
Я бы настроил отдельные узлы валидации после каждого ИИ-шага, JSON schema, ограниченный перечень категорий из словарей, повторный запрос при невалидной структуре и запасной сценарий, когда поле не определено.
Так следующие узлы n8n не ломаются из-за лишней запятой или неожиданного формата.

> Вопрос 1 - в вашем ТЗ уже задан конечный формат фида под конкретный маркетплейс или нужно будет сверить обязательные поля на этапе реализации?
> Вопрос 2 - сколько доноров и примерно сколько товаров нужно обрабатывать за один запуск?

Схожие кейсы Ingello
> https://business.ingello.com/vorfahr - автоматизация с ИИ и обработкой данных
> https://business.ingello.com/prime-eva - e-commerce и системная работа с товарными данными
> https://business.ingello.com/fractal - многоагентные процессы и сложные автоматизации

Главная страница для FLH
> https://systems-fl.ingello.com/ua

Могу взять первый этап - собрать рабочий сценарий в n8n, подключить таблицу, парсер, Claude, валидацию JSON, логирование ошибок и тестовый экспорт фида.
На связи ))

Показать оригинал

Перевести

Приветствую! Я изучил ваш проект и готов немедленно приступить к работе. Гарантирую отличное качество и оперативность.

Здравствуйте. Четыре этапа с обходом Cloudflare и тремя последовательными узлами Claude в JSON-режиме - это не типичный поток n8n, здесь нужно думать о логике повторных попыток и обработке крайних случаев на уровне данных, а не просто соединять узлы. За прошлый год собрал два похожих конвейера под e-commerce: один на ScrapeOps + n8n для 800+ SKU ежедневно, второй с ZenRows + OpenRouter для мульти-ядерного парсинга. Оба выдают YML-ленты без ручного вмешательства. Для Cloudflare - ZenRows с JS-рендерингом, так как ScrapeOps часто сталкивается со сложными вызовами. Для стабильного JSON от Claude - отдельный системный запрос с примером (few-shot) плюс узел валидации через zod-схему перед передачей дальше; если Claude возвращает битый JSON - узел ловит, логирует и отправляет на повторную попытку с температурой 0.1. Что касается сроков - 3-5 рабочих дней, так как ТЗ уже готово, но обход Cloudflare всегда требует тестирования на реальных донорах. Вопрос: сколько примерно сайтов-доноров в пуле и есть ли среди них те, кто использует PerimeterX или DataDome? Это повлияет на выбор шлюза и количество тестовых итераций.

Показать оригинал

Перевести