Автоматизація в N8N
4917 UAHПривіт!
Я веду роботу над апкою. В бекенді є вже збудований флоу в N8N. Це флоу котрий відповідає за парсинг даних з декількох державних сайтів з відкритою інформацією для громадськості. Парсинг йде через API, котрі ці сайти офіційно дають. Завданням автоматизації є завнатажити всю базу даних в Supabase а потім тільки апдейтити її. Проблема флоу в пагінації. Сайт видає 500 записів по API. Далі не йде. Інструменти ітерації не допомогли. Треба вирішити проблему закачки бази даних з сайтів.
Цей флоу є тільки частиною чат агента цієї аплікації. Друга частина власне сам Агент який буде спілкуватися з юзером. Він спочатку аналізуватиме запит, шукатиме відповіді в базі даних (скачаній завчасно) і, у разі виходу запита юзера за рамки контексту, звертатися по API до Gemini. Така модель агента запроектована з метою економії на запитах до Gemini.
Необхідно допомогти вирішити проблему з закачкою даних с двох сатів усієї інформації.
Якщо ця проблема буде вирішеня, можна буде говорити про побудову чат агента в N8N.
Інформація знаходиться на польських сайтах. Переклад надається. Є технічний аналіз документації API циз сайтів.
якщо робота по бекенду буде виконана відмінно, можна буде говорити про фронтенд.
Що я пробував зробити, щоб вирішити проблему "потолка 500" записів:
Додали пагінацію
→ Передавали в URL параметриpageіlimit=500, щоб переходити по сторінках.Зробили цикл, який сам збільшує сторінку (
page + 1)
→ Використали вузол Code + IF щоб перевіряти, чи ще є нові записи (items.length > 0).Merge даних з кількох сторінок
→ Щоб об'єднати все в один список для подальшої обробки.Розбили записи на порції (
Split in Batches) по 25 штук
→ Щоб не перевантажити Supabase при масовому завантаженні.Додавали паузу (
Wait) між запитами
→ Щоб не зловити блокування або таймаут.Пробували відправити дані в Supabase через HTTP POST
→ Але часто приходили пусті об'єкти (empty item) або дані просто не з'являлись у Success-гілці, хоча в Supabase тестовий рядок з'явився.
Відгук замовника про співпрацю з Дмитром В.
Автоматизація в N8NПрекрасна робота. Дуже задоволений. Роман - професіонал своєї справи
Відгук фрилансера про співпрацю з Maximilian D
Автоматизація в N8NЛегка та комфортна робота. Все чітко та ясно. Розуміння та чітка постановка задач.
-
7 днів9387 UAH
226 7 днів9387 UAHДоброго дня. Я багато працюю з n8n і часто доводиться вирішувати подібні задачі. І збір даних для створення RAG-системи зокрема. З проблемою пагінації також стикався, тож можу допомогти і з її вирішенням, і з подальшою розробкою асистента. Фронт теж можу зробити. Звертайтеся, буду радий співпраці!
-
7 днів6645 UAH
95670 1272 1 10 7 днів6645 UAHВітаю. Є досвід з різними АПІ. Готовий допомогти. Звертайтесь.
-
1 день6041 UAH
2848 17 0 1 1 день6041 UAHВітаю!
Можу допомогти розібратися з проблемою.
Коли зручно подивитися?
-
7 днів6053 UAH
1322 13 1 7 днів6053 UAHВітаю, готовий допомогти з вашою проблемою.
При потребі напишу потрібний код для аптимізаціі наявного.
Також без проблем допоможу з наступними етапами і одразу можу запропонувати відмовитись від сцпабейсу та є пропозиції кращої векторної БД
-
10 днів21 747 UAH
1315 7 0 10 днів21 747 UAHДобрий день.
Готовий взяти Ваш проект у роботу.
Зможу створити або покращити Ваші автоматизації на n8n.
Пишіть в особисті, обговоримо всі деталі і зможемо приступати до реалізації
-
10 днів7068 UAH
421 10 днів7068 UAHПривіт ,
Я можу вирішити вашу проблему з пагінацією в N8N для повного витягання даних з API польського уряду та оптимізувати процес завантаження в Supabase. Крім того, я з радістю співпрацюю над інтеграцією чат-агента (з резервним варіантом API Gemini), коли бекенд стане надійним. Ось мій запропонований план:
Розбиття рішення
1. Виправлення пагінації для API уряду
Проблема: Поточний потік зупиняється на 500 записах через обмеження пагінації.
Виправлення:
…
Реалізувати рекурсивні виклики API в N8N за допомогою циклів або користувацького JavaScript.
Обробляти обмеження швидкості/повторні спроби для забезпечення повного витягання даних.
Оптимізувати пакетні завантаження в Supabase, щоб уникнути тайм-аутів.
2. MVP чат-агента в N8N
Потік роботи:
Аналіз запиту користувача: попередня обробка запитів для пошуку в локальній базі даних Supabase.
Резервний варіант API Gemini: активується лише для питань поза контекстом (економія коштів).
Форматування відповіді: очищення виводу для інтеграції з фронтендом.
Особливості:
Маршрутизація з урахуванням контексту (БД проти Gemini).
Обробка помилок при збоях API.
3. Підготовка фронтенду на майбутнє
Забезпечити, щоб бекенд видавав структуровані дані (JSON) для легкого споживання фронтендом.
-
Ніхто не дає скачувати свої бази даних,для того встановлюють ліміти на сторінки
-
Актуальні фриланс-проєкти в категорії Розробка ботів
Розробка Telegram-магазину для бренду одягу. Каталог товарів, розміри, кошик, оформлення замовлення
8000 UAH
Потрібен телеграм-канал зі складом з KCRM системи, з залишками на складі, і повна оплата на рахунок Iban. Розробка ботів ∙ 2 години 30 хвилин тому ∙ 44 ставки |
Обслуговування софта
5000 UAH
Потрібно внести правки в софт та його обслуговувати в подальшому, софт робить замовлення по заданим параметрам та відправляє його в телеграм бот Python, Розробка ботів ∙ 21 година 24 хвилини тому ∙ 52 ставки |
Телеграм бот
12 082 UAH
Потрібно повністю повторити інтерфейс і функціонал, тільки без платіжної платформи. Потрібно зробити в короткі терміни. Розробка ботів ∙ 1 день 19 годин тому ∙ 109 ставок |
Автоматичне публікування відео в соціальні мережі за розкладомТехнічне завдання (ТЗ)Автоматична публікація відео в соціальні мережі за розкладомОпис проектуПотрібен скрипт/бот (Python бажано, або будь-яке інше рішення на ваш вибір — головне стабільність і простота підтримки), який автоматично публікує відео з папки в соціальні мережі та… Python, Розробка ботів ∙ 1 день 20 годин тому ∙ 56 ставок |
Бот по прийому/пошуку анкет
1250 UAH
Якщо коротко: Створити бота, в якому можна буде створити та знайти анкету, бот повинен мати реферальні посилання тощо, все нижче розписав Бот зі сторони клієнта: перед кнопкою /старт текст в центрі чату: Що може зробити цей бот? Ласкаво просимо в Sugar Secret Agency!… Python, Розробка ботів ∙ 1 день 22 години тому ∙ 61 ставка |