Автоматизация в N8N
4982 UAH
Привет!
Я работаю над приложением. В бекенде уже есть построенный флоу в N8N. Это флоу, который отвечает за парсинг данных с нескольких государственных сайтов с открытой информацией для общественности. Парсинг осуществляется через API, которые эти сайты официально предоставляют. Задачей автоматизации является загрузить всю базу данных в Supabase, а затем только обновлять её. Проблема флоу в пагинации. Сайт возвращает 500 записей через API. Дальше не идет. Инструменты итерации не помогли. Нужно решить проблему загрузки базы данных с сайтов.
Этот флоу является только частью чат-агента этого приложения. Вторая часть — собственно сам Агент, который будет общаться с пользователем. Он сначала анализирует запрос, ищет ответы в базе данных (скачанной заранее) и, в случае выхода запроса пользователя за рамки контекста, обращается по API к Gemini. Такая модель агента спроектирована с целью экономии на запросах к Gemini.
Необходимо помочь решить проблему с загрузкой данных с двух сайтов всей информации.
Если эта проблема будет решена, можно будет говорить о построении чат-агента в N8N.
Информация находится на польских сайтах. Перевод предоставляется. Есть технический анализ документации API этих сайтов.
если работа по бекенду будет выполнена отлично, можно будет говорить о фронтенде.
Что я пробовал сделать, чтобы решить проблему "потолка 500" записей:
Добавили пагинацию
→ Передавали в URL параметрыpageиlimit=500, чтобы переходить по страницам.Сделали цикл, который сам увеличивает страницу (
page + 1)
→ Использовали узел Code + IF, чтобы проверять, есть ли еще новые записи (items.length > 0).Объединили данные с нескольких страниц
→ Чтобы объединить все в один список для дальнейшей обработки.Разделили записи на порции (
Split in Batches) по 25 штук
→ Чтобы не перегрузить Supabase при массовой загрузке.Добавляли паузу (
Wait) между запросами
→ Чтобы не поймать блокировку или таймаут.Пробовали отправить данные в Supabase через HTTP POST
→ Но часто приходили пустые объекты (empty item) или данные просто не появлялись в Success-гилке, хотя в Supabase тестовая строка появлялась.
Що я пробував зробити, щоб вирішити проблему "потолка 500" записів:
Додали пагінацію
→ Передавали в URL параметриpageіlimit=500, щоб переходити по сторінках.Зробили цикл, який сам збільшує сторінку (
page + 1)
→ Використали вузол Code + IF щоб перевіряти, чи ще є нові записи (items.length > 0).Merge даних з кількох сторінок
→ Щоб об'єднати все в один список для подальшої обробки.Розбили записи на порції (
Split in Batches) по 25 штук
→ Щоб не перевантажити Supabase при масовому завантаженні.Додавали паузу (
Wait) між запитами
→ Щоб не зловити блокування або таймаут.Пробували відправити дані в Supabase через HTTP POST
→ Але часто приходили пусті об'єкти (empty item) або дані просто не з'являлись у Success-гілці, хоча в Supabase тестовий рядок з'явився.
Отзыв заказчика о сотрудничестве с Дмитро В.
Автоматизация в N8NПрекрасная работа. Очень доволен. Роман - профессионал своего дела
Отзыв фрилансера о сотрудничестве с Maximilian D
Автоматизация в N8NЛегкая и комфортная работа. Всё четко и ясно. Понимание и четкое постановление задач.
-
7 дней9512 UAH
226 7 дней9512 UAHДобрый день. Я много работаю с n8n и часто приходится решать подобные задачи. И сбор данных для создания RAG-системы в частности. С проблемой пагинации также сталкивался, поэтому могу помочь и с её решением, и с дальнейшей разработкой ассистента. Фронт тоже могу сделать. Обращайтесь, буду рад сотрудничеству!
-
7 дней6733 UAH
95606 1272 1 10 7 дней6733 UAHПривет. Есть опыт с разными API. Готов помочь. Обращайтесь.
-
1 день6121 UAH
2848 17 0 1 1 день6121 UAHПривет!
Могу помочь разобраться с проблемой.
Когда удобно посмотреть?
-
7 дней6133 UAH
1322 13 1 7 дней6133 UAHПривет, готов помочь с вашей проблемой.
При необходимости напишу нужный код для оптимизации существующего.
Также без проблем помогу с следующими этапами и сразу могу предложить отказаться от сцпабейса и есть предложения по лучшей векторной БД
-
10 дней22 035 UAH
1315 7 0 10 дней22 035 UAHДобрый день.
Готов взяться за ваш проект.
Могу создать или улучшить ваши автоматизации на n8n.
Пишите в личные, обсудим все детали и сможем приступать к реализации
-
10 дней7161 UAH
421 10 дней7161 UAHПривет ,
Я могу решить вашу проблему с пагинацией в N8N для полного извлечения данных из API польского правительства и оптимизации процесса загрузки в Supabase. Кроме того, я буду рад сотрудничать по интеграции чат-агента (резервный вариант Gemini API), когда бэкенд станет надежным. Вот мой предложенный план:
Разделение решения
1. Исправление пагинации для API правительства
Проблема: Текущий поток останавливается на 500 записях из-за ограничений пагинации.
Исправление:
…
Реализовать рекурсивные вызовы API в N8N с использованием циклов или пользовательского JavaScript.
Обрабатывать ограничения по скорости/повторные попытки для обеспечения полного извлечения данных.
Оптимизировать пакетные загрузки в Supabase, чтобы избежать тайм-аутов.
2. MVP чат-агента в N8N
Рабочий процесс:
Анализ запросов пользователя: предварительная обработка запросов для поиска в локальной базе данных Supabase.
Резервный вариант Gemini API: запускать только для вопросов вне контекста (экономия затрат).
Форматирование ответа: очистка вывода для интеграции с фронтендом.
Функции:
Маршрутизация с учетом контекста (БД против Gemini).
Обработка ошибок при сбоях API.
3. Подготовка фронтенда на будущее
Обеспечить, чтобы бэкенд выводил структурированные данные (JSON) для легкого потребления фронтендом.
-
Ніхто не дає скачувати свої бази даних,для того встановлюють ліміти на сторінки
-
Я розумію. Для того можна скачувати поступово - лімітами
-
Ну да, для цього пишуть подібні алгоритми,але n8n кроме того що там є чат чпт, нічим особо від зено постера не відрізняється
-
Актуальные фриланс-проекты в категории Разработка ботов
Бот автоматиазації для playerok.com
4000 UAH
1. Главное меню и мониторинг Экран сводной информации, обновляемый в реальном времени (или по кнопке): Статус работы ключевых модулей (Вкл/Выкл). Текущие задачи: количество ожидающих выдачи кодов/почт от покупателей, активные заказы. Финансовая сводка за текущую дату (Общая… Инжиниринг, Разработка ботов ∙ 12 часов 12 минут назад ∙ 25 ставок |
Нужно сделать простого бота по чекпоинтам на сервере GTA5
2500 UAH
Принцип работы:https://www.youtube.com/watch?v=yTTRQfYSfaY В кратце есть большой чекпоинт, на него встаешь и жмешь букву "Е" (англ), появляеться 6 маленьких чекпоинтов, и нужно просто что бы бот бегал и жал "Е" по чекпоинтам. Пробовал через пайтон и ахк-не получилось.… Разработка ботов ∙ 16 часов 10 минут назад ∙ 7 ставок |
Интеграция системы аналитики с Базой данных в Таблицах
5000 UAH
Необходимо довести текущую систему аналитики до стабильного рабочего состояния. Сейчас данные из CRM, телефонии и рекламных кабинетов подтягиваются через Supabase через МСП, затем в гугл таблицы, но часть процессов еще приходится контролировать вручную. Это нужно убрать.1.… AI и машинное обучение, Разработка ботов ∙ 1 день 7 часов назад ∙ 29 ставок |
Телеграм-бот для найма/поиска работников. Для поиска работы
1100 UAH
1. Общая концепция Создание Telegram-бота для автоматизации подбора персонала и двустороннего поиска работы. Система работает по принципу активного отклика и взаимного подтверждения интереса (Double Opt-In). В системе предусмотрены две роли: Работодатель (Владелец фирмы) и… Python, Разработка ботов ∙ 1 день 9 часов назад ∙ 83 ставки |
Двусторонний обмен сообщениями между CRM Creatio и Telegram
7000 UAH
Сделать двусторонний обмен сообщениями между CRM Creatio и Telegram согласно ТЗ https://docs.google.com/document/d/1Y8qL2CJwwmVSrJOXfQipoi27t-wkvDx1UmA2-niTtWs/edit?usp=sharing Веб-программирование, Разработка ботов ∙ 1 день 22 часа назад ∙ 46 ставок |
Warszawa