AI-анализатор лидов с 8 RSS-каналов

Мета:

Создать автономного AI-ассистента для мониторинга и квалификации фриланс-проектов для маркетингового агентства (SEO/SMM/PPC). Ключевое требование — агрегация данных из 8+ различных RSS-лент, полная автоматическая дедупликация проектов для экономии средств и интеллектуальный анализ каждого уникального лида с помощью OpenAI перед отправкой в Telegram-группу клиента.

Мой Вклад:

Проект имел две фундаментальные проблемы:

Информационный Шум: Проекты по программированию (Python, PHP) и дизайну попадали в релевантные маркетинговые категории (например, "AI" или "Боты").

Массовые Дубликаты: Один и тот же проект часто появлялся в 3-4 различных RSS-лентах одновременно, что приводило к 3-4 одинаковым уведомлениям и, что хуже всего, к 3-4-кратной оплате за анализ в OpenAI.

Мой вклад заключался в проектировании сложной, многоступенчатой архитектуры "конвейера" в n8n. Я разработал "пуленепробиваемую" систему дедупликации, которая является сердцем этого рабочего процесса. Вместо простой фильтрации я объединил "потоковую" дедупликацию (в пределах одного запуска) с "постоянной памятью" (n8n Data Tables), гарантируя, что ни один проект не будет проанализирован дважды, независимо от того, когда и откуда он поступил.

Решение:

Финальное решение — это единый рабочий процесс n8n, который работает по расписанию каждые 10 минут и состоит из 5 логических блоков:

1. Блок Сбора и Агрегации:

Schedule Trigger запускает 8 параллельных узлов RSS Read, каждый из которых мониторит свою категорию (SEO, SMM, PPC, Лиды и т.д.).

Узел Merge (Combine All) собирает все 8 потоков в один массив проектов.

2. Блок Подготовки:

Узел Set (Edit Fields1) стандартизирует данные и создает поле fullText (из title и content) для будущего анализа.

3. Блок Дедупликации (Ключевой Этап):

Data Table (Get row(s)): Загружает из "памяти" (Processed_Leads) полный список guid всех проектов, обработанных ранее.

Merge (Merge_Deduplicate): Использует режим keepNonMatches. Он сравнивает поток новых проектов (Input 1) со списком старых guid (Input 2) и пропускает дальше только те проекты, которых нет в "памяти".

Remove Duplicates (Node 1): Убирает дубликаты в пределах текущего запуска (на случай, если один проект пришел из 2-х RSS-лент одновременно).

Remove Duplicates (Node 2): Дополнительная проверка "на лету" по внутренней памяти n8n, гарантируя 100% уникальность.

4. Блок AI-Анализа и Сохранения:

Message a model (OpenAI): Получает только уникальные проекты. Промпт GPT-4o анализирует fullText и возвращает JSON с оценкой (score), причиной (reason) и маркером "мусор" (is_trash).

Data Table (Insert row): Немедленно записывает guid только что проанализированного проекта в "память" (Processed_Leads), чтобы он больше никогда не прошел дедупликацию.

5. Блок Уведомления:

Code (JavaScript): Узел-"санитайзер", который очищает title и reason от специальных символов (*, _, [ ]), которые могут сломать форматирование Telegram.

Telegram (2 узла): Отправляют идеально отформатированное, проанализированное сообщение с оценкой AI двум получателям — мне (для контроля) и в рабочую группу клиента.

Результат:

Создан полностью автономный AI-ассистент, который мониторит 8 источников 24/7. Клиент получил систему, которая:

Гарантированно экономит деньги: 100% дубликатов фильтруются до отправки в OpenAI, предотвращая лишние расходы API.

Экономит время: Клиент получает не "сырой" поток, а уже проанализированные лиды с оценкой (score) и кратким выводом (summary).

Высокая релевантность: Интеллектуальный промпт в OpenAI дополнительно отсекает "мусор" (is_trash: true), который просочился через RSS.

Надежность: Использование Data Tables как постоянной "памяти" гарантирует, что даже при перезапуске рабочего процесса система не отправит старых проектов.

#n8n #OpenAI #GPT4 #WorkflowAutomation #LeadGeneration #RSS #APIIntegration #DataTables #Deduplication #Telegram #JavaScript #Freelance #MarketingAutomation #SEO #PPC #SMM #Автоматизация #Лидогенерация #Маркетинг