Я веду роботу над апкою. В бекенді є вже збудований флоу в N8N. Це флоу котрий відповідає за парсинг даних з декількох державних сайтів з відкритою інформацією для громадськості. Парсинг йде через API, котрі ці сайти офіційно дають. Завданням автоматизації є завнатажити всю базу даних в Supabase а потім тільки апдейтити її. Проблема флоу в пагінації. Сайт видає 500 записів по API. Далі не йде. Інструменти ітерації не допомогли. Треба вирішити проблему закачки бази даних з сайтів.

Цей флоу є тільки частиною чат агента цієї аплікації. Друга частина власне сам Агент який буде спілкуватися з юзером. Він спочатку аналізуватиме запит, шукатиме відповіді в базі даних (скачаній завчасно) і, у разі виходу запита юзера за рамки контексту, звертатися по API до Gemini. Така модель агента запроектована з метою економії на запитах до Gemini.

Необхідно допомогти вирішити проблему з закачкою даних с двох сатів усієї інформації.

Якщо ця проблема буде вирішеня, можна буде говорити про побудову чат агента в N8N.

Інформація знаходиться на польських сайтах. Переклад надається. Є технічний аналіз документації API циз сайтів.

якщо робота по бекенду буде виконана відмінно, можна буде говорити про фронтенд.

Оновлення #1 від 22 липня 2025

Що я пробував зробити, щоб вирішити проблему "потолка 500" записів:

Додали пагінацію
→ Передавали в URL параметри page і limit=500, щоб переходити по сторінках.
Зробили цикл, який сам збільшує сторінку (page + 1)
→ Використали вузол Code + IF щоб перевіряти, чи ще є нові записи (items.length > 0).
Merge даних з кількох сторінок
→ Щоб об'єднати все в один список для подальшої обробки.
Розбили записи на порції (Split in Batches) по 25 штук
→ Щоб не перевантажити Supabase при масовому завантаженні.
Додавали паузу (Wait) між запитами
→ Щоб не зловити блокування або таймаут.
Пробували відправити дані в Supabase через HTTP POST
→ Але часто приходили пусті об'єкти (empty item) або дані просто не з'являлись у Success-гілці, хоча в Supabase тестовий рядок з'явився.

Ставки 7 Відхилені 2 Обговорення 3

Андрей К.

1 298 1

Проєкти 1 302
Оцінка 5.0
Рейтинг 105 072

Бюджет: 550 PLN Термін: 7 днів

Вітаю. Є досвід з різними АПІ. Готовий допомогти. Звертайтесь.

Дмитро Нестеров

0 0

Проєкти -
Оцінка -
Рейтинг 274

Бюджет: 777 PLN Термін: 7 днів

Доброго дня. Я багато працюю з n8n і часто доводиться вирішувати подібні задачі. І збір даних для створення RAG-системи зокрема. З проблемою пагінації також стикався, тож можу допомогти і з її вирішенням, і з подальшою розробкою асистента. Фронт теж можу зробити. Звертайтеся, буду радий співпраці!

Андрій Прокоп'єв

18 0

Проєкти 18
Оцінка 5.0
Рейтинг 2 944

Бюджет: 500 PLN Термін: 1 день

Вітаю!

Можу допомогти розібратися з проблемою.
Коли зручно подивитися?

Захар Х.

13 1

Проєкти 14
Оцінка 3.5
Рейтинг 1 272

Бюджет: 501 PLN Термін: 7 днів

Вітаю, готовий допомогти з вашою проблемою.

При потребі напишу потрібний код для аптимізаціі наявного.

Також без проблем допоможу з наступними етапами і одразу можу запропонувати відмовитись від сцпабейсу та є пропозиції кращої векторної БД

У списку не показані ставки, приховані замовником чи фрилансером з Plus, а також ставки, що порушують правила

Ярослав Стьопін

7 0

Проєкти 7
Оцінка 4.5
Рейтинг 1 266

Бюджет: 1800 PLN Термін: 10 днів

Добрий день.
Готовий взяти Ваш проект у роботу.
Зможу створити або покращити Ваші автоматизації на n8n.
Пишіть в особисті, обговоримо всі деталі і зможемо приступати до реалізації

Joseph Collins Mahihu

0 0

Проєкти -
Оцінка -
Рейтинг 421

Бюджет: 585 PLN Термін: 10 днів

Привіт ,

Я можу вирішити вашу проблему з пагінацією в N8N для повного витягання даних з API польського уряду та оптимізувати процес завантаження в Supabase. Крім того, я з радістю співпрацюю над інтеграцією чат-агента (з резервним варіантом API Gemini), коли бекенд стане надійним. Ось мій запропонований план:

Розбиття рішення
1. Виправлення пагінації для API уряду
Проблема: Поточний потік зупиняється на 500 записах через обмеження пагінації.

Виправлення:

Реалізувати рекурсивні виклики API в N8N за допомогою циклів або користувацького JavaScript.

Обробляти обмеження швидкості/повторні спроби для забезпечення повного витягання даних.

Оптимізувати пакетні завантаження в Supabase, щоб уникнути тайм-аутів.

2. MVP чат-агента в N8N
Потік роботи:

Аналіз запиту користувача: попередня обробка запитів для пошуку в локальній базі даних Supabase.

Резервний варіант API Gemini: активується лише для питань поза контекстом (економія коштів).

Форматування відповіді: очищення виводу для інтеграції з фронтендом.

Особливості:

Маршрутизація з урахуванням контексту (БД проти Gemini).

Обробка помилок при збоях API.

3. Підготовка фронтенду на майбутнє
Забезпечити, щоб бекенд видавав структуровані дані (JSON) для легкого споживання фронтендом.

Актуальні фриланс-проєкти в категорії Розробка ботів

Сигнальний бот для трейдингу

Python 67 ставок 31 липня

3000 UAH
Виконання бота olx

58 ставок 30 липня

Не вказано
Створити SEO-систему на базі n8n

AI та машинне навчання 58 ставок 30 липня

Не вказано
Парсинг маркетплейсу

Парсинг даних 37 ставок 30 липня

1700 UAH
Бот репостер постів для телеграму

90 ставок 28 липня

3076 UAH

Maximilian D
Warszawa, Польща

Проєктів 31
Конкурсів 1
Оцінка 4.9
Рейтинг 1 098

Автоматизація в N8N

Відгук замовника про співпрацю з Дмитром В.

Автоматизація в N8N

4.9

Maximilian D

Відгук фрилансера про співпрацю з Maximilian D

Автоматизація в N8N

5.0

Дмитро В.

Що я пробував зробити, щоб вирішити проблему "потолка 500" записів:

Андрей К.

Дмитро Нестеров

Андрій Прокоп'єв

Захар Х.

Ставки поки відсутні

Ярослав Стьопін

Joseph Collins Mahihu

Актуальні фриланс-проєкти в категорії Розробка ботів

Сигнальний бот для трейдингу

Виконання бота olx

Створити SEO-систему на базі n8n

Парсинг маркетплейсу

Бот репостер постів для телеграму