Pracuję nad aplikacją. W backendzie jest już zbudowany flow w N8N. To flow, które odpowiada za parsowanie danych z kilku rządowych stron internetowych z otwartymi informacjami dla społeczeństwa. Parsowanie odbywa się przez API, które te strony oficjalnie udostępniają. Zadaniem automatyzacji jest załadowanie całej bazy danych do Supabase, a następnie jej tylko aktualizacja. Problemem jest paginacja w flow. Strona zwraca 500 rekordów przez API. Dalej nie działa. Narzędzia iteracyjne nie pomogły. Trzeba rozwiązać problem z pobieraniem bazy danych ze stron internetowych.

To flow jest tylko częścią chat agenta tej aplikacji. Druga część to sam Agent, który będzie komunikował się z użytkownikiem. Na początku będzie analizował zapytanie, szukał odpowiedzi w bazie danych (pobranej wcześniej) i, w przypadku gdy zapytanie wykracza poza kontekst, będzie się odwoływał do API Gemini. Taki model agenta został zaprojektowany w celu oszczędności na zapytania do Gemini.

Potrzebna jest pomoc w rozwiązaniu problemu z pobieraniem danych ze stron internetowych, całej informacji.

Jeśli ten problem zostanie rozwiązany, będzie można mówić o budowie chat agenta w N8N.

Informacje znajdują się na polskich stronach internetowych. Dostarczany jest tłumaczenie. Jest również analiza techniczna dokumentacji API tych stron.

Jeśli prace nad backendem zostaną wykonane dobrze, można będzie mówić o frontendzie.

Aktualizacja #1 od 22 lipca 2025

Co próbowałem zrobić, aby rozwiązać problem "potrójki 500" wpisów:

Dodaliśmy paginację
→ Przesyłaliśmy w parametrach URL page i limit=500, aby przechodzić po stronach.
Zrobiliśmy pętlę, która sama zwiększa stronę (page + 1)
→ Użyliśmy węzła Code + IF, aby sprawdzać, czy są jeszcze nowe wpisy (items.length > 0).
Scaliliśmy dane z kilku stron
→ Aby połączyć wszystko w jedną listę do dalszej obróbki.
Podzieliliśmy wpisy na porcje (Split in Batches) po 25 sztuk
→ Aby nie przeciążać Supabase przy masowym ładowaniu.
Dodawaliśmy przerwę (Wait) między zapytaniami
→ Aby uniknąć blokady lub timeoutu.
Próbowaliśmy wysłać dane do Supabase przez HTTP POST
→ Ale często pojawiały się puste obiekty (empty item) lub dane po prostu nie pojawiały się w gałęzi Success, chociaż w Supabase pojawił się testowy wiersz.

Zaloguj się lub zarejestruj się, żeby zobaczyć oryginał

Oferty 7 Odrzucone 2 Dyskusje 3

Andrey K.

1 298 1

Budżet: 550 PLN Termin: 7 dni

Witam. Mam doświadczenie z różnymi API. Chętnie pomogę. Proszę się kontaktować.

Dmitro Nesterov

0 0

Zlecenia -
Ocena -
Ranking 274

Budżet: 777 PLN Termin: 7 dni

Dzień dobry. Pracuję dużo z n8n i często muszę rozwiązywać podobne zadania. W szczególności zbieranie danych do tworzenia systemu RAG. Miałem również do czynienia z problemem paginacji, więc mogę pomóc zarówno w jego rozwiązaniu, jak i w dalszym rozwoju asystenta. Front też mogę zrobić. Proszę się kontaktować, chętnie nawiążę współpracę!

Andrii Prokopiev

18 0

Budżet: 500 PLN Termin: 1 dzień

Witam!

Mogę pomóc rozwiązać problem.
Kiedy pasuje Ci się spotkać?

Zahar H.

13 1

Budżet: 501 PLN Termin: 7 dni

Witam, chętnie pomogę z Twoim problemem.

W razie potrzeby napiszę odpowiedni kod do optymalizacji istniejącego.

Również bez problemu pomogę z kolejnymi etapami i od razu mogę zaproponować rezygnację z scpabeysu oraz mam propozycje lepszej bazy danych wektorowych

W liście nie są widoczne oferty ukryte przez zleceniodawcę lub freelancerów z profilem Plus, a także oferty, które naruszają regulamin

Yaroslav Stopin

7 0

Budżet: 1800 PLN Termin: 10 dni

Dzień dobry.
Jestem gotowy podjąć się Twojego projektu.
Zamierzam stworzyć lub ulepszyć Twoje automatyzacje na n8n.
Napisz do mnie prywatnie, omówimy wszystkie szczegóły i będziemy mogli zacząć realizację

Joseph Collins Mahihu

0 0

Zlecenia -
Ocena -
Ranking 421

Budżet: 585 PLN Termin: 10 dni

Cześć ,

Mogę rozwiązać Twój problem z paginacją w N8N, aby w pełni wyodrębnić dane z polskich API rządowych i usprawnić proces przesyłania do Supabase. Dodatkowo chętnie podejmę współpracę przy integracji agenta czatu (fallback API Gemini), gdy backend będzie stabilny. Oto mój proponowany plan:

Podział rozwiązania
1. Naprawa paginacji dla API rządowych
Problem: Obecny przepływ zatrzymuje się na 500 rekordach z powodu limitów paginacji.

Rozwiązanie:

Implementacja rekurencyjnych wywołań API w N8N za pomocą pętli lub niestandardowego JavaScript.

Obsługa limitów szybkości/ponownych prób, aby zapewnić pełne wyodrębnienie danych.

Optymalizacja przesyłania wsadowego do Supabase, aby uniknąć timeoutów.

2. MVP agenta czatu w N8N
Przepływ pracy:

Analiza zapytań użytkownika: wstępne przetwarzanie zapytań do wyszukiwania w lokalnej bazie danych Supabase.

Fallback API Gemini: wywołanie tylko dla pytań spoza kontekstu (oszczędność kosztów).

Formatowanie odpowiedzi: czyste wyjście do integracji z frontendem.

Funkcje:

Routing świadomy kontekstu (DB vs. Gemini).

Obsługa błędów przy awariach API.

3. Przygotowania do przyszłego frontendu
Zapewnienie, że backend zwraca dane w strukturze (JSON) dla łatwej konsumpcji przez frontend.

Aktualne zlecenia dla freelancerów w kategorii Tworzenie chatbota

Bot sygnalizacyjny do handlu

Python 67 ofert 31 lipca

252 PLN
Wykonanie bota olx

58 ofert 30 lipca

Nie podano
Stworzyć system SEO oparty na n8n

AI i uczenie maszynowe 58 ofert 30 lipca

Nie podano
Парсинг маркетплейсу

Parsowanie danych 37 ofert 30 lipca

143 PLN
Bot do repostowania postów na Telegramie

90 ofert 28 lipca

259 PLN

Maximilian D
Warszawa, Polska

Zleceń 31
Konkursów 1
Ocena 4.9
Ranking 1 098

Maximilian D

Dmitro V.

Andrey K.

Dmitro Nesterov

Andrii Prokopiev

Zahar H.

Aktualnie brak ofert

Yaroslav Stopin

Joseph Collins Mahihu

Aktualne zlecenia dla freelancerów w kategorii Tworzenie chatbota

Bot sygnalizacyjny do handlu

Wykonanie bota olx

Stworzyć system SEO oparty na n8n

Парсинг маркетплейсу

Bot do repostowania postów na Telegramie