Automatyzacja w N8N
407 PLN
Witam!
Pracuję nad aplikacją. W backendzie jest już zbudowany flow w N8N. To flow, które odpowiada za parsowanie danych z kilku rządowych stron internetowych z otwartymi informacjami dla społeczeństwa. Parsowanie odbywa się przez API, które te strony oficjalnie udostępniają. Zadaniem automatyzacji jest załadowanie całej bazy danych do Supabase, a następnie jej tylko aktualizacja. Problemem jest paginacja w flow. Strona zwraca 500 rekordów przez API. Dalej nie działa. Narzędzia iteracyjne nie pomogły. Trzeba rozwiązać problem z pobieraniem bazy danych ze stron internetowych.
To flow jest tylko częścią chat agenta tej aplikacji. Druga część to sam Agent, który będzie komunikował się z użytkownikiem. Na początku będzie analizował zapytanie, szukał odpowiedzi w bazie danych (pobranej wcześniej) i, w przypadku gdy zapytanie wykracza poza kontekst, będzie się odwoływał do API Gemini. Taki model agenta został zaprojektowany w celu oszczędności na zapytania do Gemini.
Potrzebna jest pomoc w rozwiązaniu problemu z pobieraniem danych ze stron internetowych, całej informacji.
Jeśli ten problem zostanie rozwiązany, będzie można mówić o budowie chat agenta w N8N.
Informacje znajdują się na polskich stronach internetowych. Dostarczany jest tłumaczenie. Jest również analiza techniczna dokumentacji API tych stron.
Jeśli prace nad backendem zostaną wykonane dobrze, można będzie mówić o frontendzie.
Co próbowałem zrobić, aby rozwiązać problem "potrójki 500" wpisów:
Dodaliśmy paginację
→ Przesyłaliśmy w parametrach URLpageilimit=500, aby przechodzić po stronach.Zrobiliśmy pętlę, która sama zwiększa stronę (
page + 1)
→ Użyliśmy węzła Code + IF, aby sprawdzać, czy są jeszcze nowe wpisy (items.length > 0).Scaliliśmy dane z kilku stron
→ Aby połączyć wszystko w jedną listę do dalszej obróbki.Podzieliliśmy wpisy na porcje (
Split in Batches) po 25 sztuk
→ Aby nie przeciążać Supabase przy masowym ładowaniu.Dodawaliśmy przerwę (
Wait) między zapytaniami
→ Aby uniknąć blokady lub timeoutu.Próbowaliśmy wysłać dane do Supabase przez HTTP POST
→ Ale często pojawiały się puste obiekty (empty item) lub dane po prostu nie pojawiały się w gałęzi Success, chociaż w Supabase pojawił się testowy wiersz.
Що я пробував зробити, щоб вирішити проблему "потолка 500" записів:
Додали пагінацію
→ Передавали в URL параметриpageіlimit=500, щоб переходити по сторінках.Зробили цикл, який сам збільшує сторінку (
page + 1)
→ Використали вузол Code + IF щоб перевіряти, чи ще є нові записи (items.length > 0).Merge даних з кількох сторінок
→ Щоб об'єднати все в один список для подальшої обробки.Розбили записи на порції (
Split in Batches) по 25 штук
→ Щоб не перевантажити Supabase при масовому завантаженні.Додавали паузу (
Wait) між запитами
→ Щоб не зловити блокування або таймаут.Пробували відправити дані в Supabase через HTTP POST
→ Але часто приходили пусті об'єкти (empty item) або дані просто не з'являлись у Success-гілці, хоча в Supabase тестовий рядок з'явився.
Opinia zleceniodawcy o współpracy z Dmitro V.
Automatyzacja w N8NŚwietna robota. Bardzo zadowolony. Roman - profesjonalista w swojej dziedzinie
Opinia freelancera o współpracy z Maximilian D
Automatyzacja w N8NLekka i komfortowa praca. Wszystko jasno i wyraźnie. Zrozumienie i precyzyjne określenie zadań.
-
7 dni777 PLN
226 7 dni777 PLNDzień dobry. Pracuję dużo z n8n i często muszę rozwiązywać podobne zadania. W szczególności zbieranie danych do tworzenia systemu RAG. Miałem również do czynienia z problemem paginacji, więc mogę pomóc zarówno w jego rozwiązaniu, jak i w dalszym rozwoju asystenta. Front też mogę zrobić. Proszę się kontaktować, chętnie nawiążę współpracę!
-
7 dni550 PLN
95862 1272 1 10 7 dni550 PLNWitam. Mam doświadczenie z różnymi API. Chętnie pomogę. Proszę się kontaktować.
-
1 dzień500 PLN
2848 17 0 1 1 dzień500 PLNWitam!
Mogę pomóc rozwiązać problem.
Kiedy pasuje Ci się spotkać?
-
7 dni501 PLN
1322 13 1 7 dni501 PLNWitam, chętnie pomogę z Twoim problemem.
W razie potrzeby napiszę odpowiedni kod do optymalizacji istniejącego.
Również bez problemu pomogę z kolejnymi etapami i od razu mogę zaproponować rezygnację z scpabeysu oraz mam propozycje lepszej bazy danych wektorowych
-
10 dni1800 PLN
1315 7 0 10 dni1800 PLNDzień dobry.
Jestem gotowy podjąć się Twojego projektu.
Zamierzam stworzyć lub ulepszyć Twoje automatyzacje na n8n.
Napisz do mnie prywatnie, omówimy wszystkie szczegóły i będziemy mogli zacząć realizację
-
10 dni585 PLN
421 10 dni585 PLNCześć ,
Mogę rozwiązać Twój problem z paginacją w N8N, aby w pełni wyodrębnić dane z polskich API rządowych i usprawnić proces przesyłania do Supabase. Dodatkowo chętnie podejmę współpracę przy integracji agenta czatu (fallback API Gemini), gdy backend będzie stabilny. Oto mój proponowany plan:
Podział rozwiązania
1. Naprawa paginacji dla API rządowych
Problem: Obecny przepływ zatrzymuje się na 500 rekordach z powodu limitów paginacji.
Rozwiązanie:
…
Implementacja rekurencyjnych wywołań API w N8N za pomocą pętli lub niestandardowego JavaScript.
Obsługa limitów szybkości/ponownych prób, aby zapewnić pełne wyodrębnienie danych.
Optymalizacja przesyłania wsadowego do Supabase, aby uniknąć timeoutów.
2. MVP agenta czatu w N8N
Przepływ pracy:
Analiza zapytań użytkownika: wstępne przetwarzanie zapytań do wyszukiwania w lokalnej bazie danych Supabase.
Fallback API Gemini: wywołanie tylko dla pytań spoza kontekstu (oszczędność kosztów).
Formatowanie odpowiedzi: czyste wyjście do integracji z frontendem.
Funkcje:
Routing świadomy kontekstu (DB vs. Gemini).
Obsługa błędów przy awariach API.
3. Przygotowania do przyszłego frontendu
Zapewnienie, że backend zwraca dane w strukturze (JSON) dla łatwej konsumpcji przez frontend.
-
Ніхто не дає скачувати свої бази даних,для того встановлюють ліміти на сторінки
-
Я розумію. Для того можна скачувати поступово - лімітами
-
Ну да, для цього пишуть подібні алгоритми,але n8n кроме того що там є чат чпт, нічим особо від зено постера не відрізняється
-
Aktualne zlecenia dla freelancerów w kategorii Tworzenie chatbota
Bot Telegram dla serwisu samochodowegoDzień dobry. Potrzebuję stworzyć bota Telegram dla serwisu samochodowego. Bot powinien pomagać mechanikowi przeprowadzać pełną diagnostykę techniczną samochodu według listy kontrolnej, dodawać zdjęcia/wideo usterek, Struktura bota jest opisana w specyfikacji w języku… Tworzenie chatbota ∙ 4 godziny 9 minut temu ∙ 68 ofert |
Przywrócenie dostępu do konta Telegram.
828 PLN
Mój telegram był na niemieckim numerze, który od 5 lat jest nieaktywny poczta nie była powiązana włączony był dwuetapowy kod zabezpieczający konto z jakichś powodów zniknęło na wszystkich urządzeniach potrzebna pomoc w odzyskaniu konta Tworzenie chatbota, Programowanie na iOS (iPhone i iPad) ∙ 8 godzin 4 minuty temu ∙ 9 ofert |
Automatyczne publikowanie relacji na InstagramieDzień dobry, Potrzebna pomoc w ustawieniu automatycznego publikowania historii na Instagramie. W archiwum Instagrama są już historie, które zostały opublikowane, trzeba je ponownie opublikować. AI i uczenie maszynowe, Tworzenie chatbota ∙ 11 godzin 48 minut temu ∙ 22 oferty |
Bot automatyzacji dla playerok.com
331 PLN
1. Główne menu i monitoringEkran zbiorczych informacji, aktualizowany w czasie rzeczywistym (lub na przycisk):Status pracy kluczowych modułów (Włącz/Wyłącz).Bieżące zadania: liczba oczekujących wydania kodów/poczty od kupujących, aktywne zamówienia.Finansowe podsumowanie na… Doradztwo inżynieryjne, Tworzenie chatbota ∙ 1 dzień 20 godzin temu ∙ 37 ofert |
Integracja systemu analityki z Bazą danych w Tabelach
414 PLN
Trzeba doprowadzić aktualny system analityki do stabilnego stanu roboczego. Obecnie dane z CRM, telefonii i kont reklamowych są pobierane przez Supabase przez MSP, a następnie do arkuszy Google, ale część procesów nadal trzeba kontrolować ręcznie. To trzeba usunąć.1.… AI i uczenie maszynowe, Tworzenie chatbota ∙ 2 dni 16 godzin temu ∙ 32 oferty |
Warszawa