Я работаю над приложением. В бекенде уже есть построенный флоу в N8N. Это флоу, который отвечает за парсинг данных с нескольких государственных сайтов с открытой информацией для общественности. Парсинг осуществляется через API, которые эти сайты официально предоставляют. Задачей автоматизации является загрузить всю базу данных в Supabase, а затем только обновлять её. Проблема флоу в пагинации. Сайт возвращает 500 записей через API. Дальше не идет. Инструменты итерации не помогли. Нужно решить проблему загрузки базы данных с сайтов.

Этот флоу является только частью чат-агента этого приложения. Вторая часть — собственно сам Агент, который будет общаться с пользователем. Он сначала анализирует запрос, ищет ответы в базе данных (скачанной заранее) и, в случае выхода запроса пользователя за рамки контекста, обращается по API к Gemini. Такая модель агента спроектирована с целью экономии на запросах к Gemini.

Необходимо помочь решить проблему с загрузкой данных с двух сайтов всей информации.

Если эта проблема будет решена, можно будет говорить о построении чат-агента в N8N.

Информация находится на польских сайтах. Перевод предоставляется. Есть технический анализ документации API этих сайтов.

если работа по бекенду будет выполнена отлично, можно будет говорить о фронтенде.

Обновление #1 от 22 июля 2025

Что я пробовал сделать, чтобы решить проблему "потолка 500" записей:

Добавили пагинацию
→ Передавали в URL параметры page и limit=500, чтобы переходить по страницам.
Сделали цикл, который сам увеличивает страницу (page + 1)
→ Использовали узел Code + IF, чтобы проверять, есть ли еще новые записи (items.length > 0).
Объединили данные с нескольких страниц
→ Чтобы объединить все в один список для дальнейшей обработки.
Разделили записи на порции (Split in Batches) по 25 штук
→ Чтобы не перегрузить Supabase при массовой загрузке.
Добавляли паузу (Wait) между запросами
→ Чтобы не поймать блокировку или таймаут.
Пробовали отправить данные в Supabase через HTTP POST
→ Но часто приходили пустые объекты (empty item) или данные просто не появлялись в Success-гилке, хотя в Supabase тестовая строка появлялась.

Войдите или зарегистрируйтесь, чтобы увидеть оригинал

Ставки 7 Отклоненные 2 Обсуждения 3

Андрей К.

1 298 1

Проекты 1 302
Оценка 5.0
Рейтинг 105 072

Бюджет: 550 PLN Срок: 7 дней

Привет. Есть опыт с разными API. Готов помочь. Обращайтесь.

Дмитро Нестеров

0 0

Проекты -
Оценка -
Рейтинг 274

Бюджет: 777 PLN Срок: 7 дней

Добрый день. Я много работаю с n8n и часто приходится решать подобные задачи. И сбор данных для создания RAG-системы в частности. С проблемой пагинации также сталкивался, поэтому могу помочь и с её решением, и с дальнейшей разработкой ассистента. Фронт тоже могу сделать. Обращайтесь, буду рад сотрудничеству!

Андрій Прокоп'єв

18 0

Проекты 18
Оценка 5.0
Рейтинг 2 944

Бюджет: 500 PLN Срок: 1 день

Привет!

Могу помочь разобраться с проблемой.
Когда удобно посмотреть?

Захар Х.

13 1

Проекты 14
Оценка 3.5
Рейтинг 1 272

Бюджет: 501 PLN Срок: 7 дней

Привет, готов помочь с вашей проблемой.

При необходимости напишу нужный код для оптимизации существующего.

Также без проблем помогу с следующими этапами и сразу могу предложить отказаться от сцпабейса и есть предложения по лучшей векторной БД

В списке не показаны ставки, скрытые заказчиком или фрилансером c профилем Plus, а также ставки, нарушающие правила

Ярослав Стьопін

7 0

Проекты 7
Оценка 4.5
Рейтинг 1 266

Бюджет: 1800 PLN Срок: 10 дней

Добрый день.
Готов взяться за ваш проект.
Могу создать или улучшить ваши автоматизации на n8n.
Пишите в личные, обсудим все детали и сможем приступать к реализации

Joseph Collins Mahihu

0 0

Проекты -
Оценка -
Рейтинг 421

Бюджет: 585 PLN Срок: 10 дней

Привет ,

Я могу решить вашу проблему с пагинацией в N8N для полного извлечения данных из API польского правительства и оптимизации процесса загрузки в Supabase. Кроме того, я буду рад сотрудничать по интеграции чат-агента (резервный вариант Gemini API), когда бэкенд станет надежным. Вот мой предложенный план:

Разделение решения
1. Исправление пагинации для API правительства
Проблема: Текущий поток останавливается на 500 записях из-за ограничений пагинации.

Исправление:

Реализовать рекурсивные вызовы API в N8N с использованием циклов или пользовательского JavaScript.

Обрабатывать ограничения по скорости/повторные попытки для обеспечения полного извлечения данных.

Оптимизировать пакетные загрузки в Supabase, чтобы избежать тайм-аутов.

2. MVP чат-агента в N8N
Рабочий процесс:

Анализ запросов пользователя: предварительная обработка запросов для поиска в локальной базе данных Supabase.

Резервный вариант Gemini API: запускать только для вопросов вне контекста (экономия затрат).

Форматирование ответа: очистка вывода для интеграции с фронтендом.

Функции:

Маршрутизация с учетом контекста (БД против Gemini).

Обработка ошибок при сбоях API.

3. Подготовка фронтенда на будущее
Обеспечить, чтобы бэкенд выводил структурированные данные (JSON) для легкого потребления фронтендом.

Актуальные фриланс-проекты в категории Разработка ботов

Сигнальный бот для трейдинга

Python 67 ставок 31 июля

3000 UAH
Создание бота для olx

58 ставок 30 июля

Не указан
Создать SEO-систему на базе n8n

AI и машинное обучение 58 ставок 30 июля

Не указан
Парсинг маркетплейсу

Парсинг данных 37 ставок 30 июля

1700 UAH
Бот репостер постов для телеграмма

90 ставок 28 июля

3076 UAH

Maximilian D
Warszawa, Польша

Проектов 31
Конкурсов 1
Оценка 4.9
Рейтинг 1 098

Maximilian D

Дмитро В.

Андрей К.

Дмитро Нестеров

Андрій Прокоп'єв

Захар Х.

Ставки пока отсутствуют

Ярослав Стьопін

Joseph Collins Mahihu

Актуальные фриланс-проекты в категории Разработка ботов

Сигнальный бот для трейдинга

Создание бота для olx

Создать SEO-систему на базе n8n

Парсинг маркетплейсу

Бот репостер постов для телеграмма