Zlecenia dla freelancerów

Zlecenia dla freelancerów

Skrypt Pythona do masowego ładowania dokumentów z dwóch API

Name: Skrypt Pythona do masowego ładowania dokumentów z dwóch API
Price: 820 PLN
Availability: InStock

Bazy danych i SQL, Python — podano nieprawidłowe kategorie?

820 PLN

Opinia zleceniodawcy o współpracy z Illia Antipiev

Skrypt Pythona do masowego ładowania dokumentów z dwóch API

820 PLN

Ilia, dziękuję za pracę. Projekt był trudny, ale poradziłeś sobie. Zajęło to znacznie więcej czasu niż planowano. Wykonanie zadania w 100% wymagało cierpliwości i wielu poprawek, a także zmian z naszej strony. W każdym razie dziękuję!

4.5

Maximilian D

Opinia zwrotna

30 listopada 2025

Opinia freelancera o współpracy z Maximilian D

Skrypt Pythona do masowego ładowania dokumentów z dwóch API

820 PLN

Dziękuję za współpracę!
wszystkie materiały, dostęp do nich były dostarczone na czas i aktualizowane w miarę potrzeby
klient wyszedł naprzeciw, gdy musiał odłożyć wykonanie z powodów osobistych
mały minus - czasami trzeba odpowiadać na pytania od osoby, której brakuje kontekstu. dlatego trzeba było się powtarzać 😔 ale należy oddać mu sprawiedliwość - niektóre błędy znajduje

4.6

Illia Antipiev

Opinia zwrotna

1 grudnia 2025

Zlecenie jest tłumaczone automatycznie. Zaloguj się lub zarejestruj się, żeby zobaczyć oryginał

Aby aplikacja mobilna działała, potrzebna jest baza danych, którą LLM będzie używać po zapytaniu użytkownika w czacie. Baza danych musi być w Supabase. Jeśli odpowiedzi nie ma w BDB, wtedy LLM zwróci się przez API do zewnętrznego źródła.

1. Opis projektu

Opracować asynchroniczny skrypt Python do masowego ładowania dokumentów:

SITE API załadować wszystkie dostępne dokumenty wszystkich typów za cały okres.
SITE API: załadować wszystkie dokumenty, począwszy od 2000 roku.

Przechowywać pełny tekst, wszystkie pola i metadane każdego dokumentu. Docelowa baza — Supabase (PostgreSQL).

2. Wymagania funkcjonalne

Zadanie dla wykonawcy na Python 3.8+:

A. Asynchroniczne masowe ładowanie przez API

Użycie aiohttp + asyncio do asynchronicznej pracy.
Paralelizacja zapytań (10–50 jednoczesnych połączeń, bez przekraczania dozwolonych limitów API).
Wsparcie paginacji (pageSize maksymalnie dla SAOS — 100, dla Sejm potwierdzić w dokumentacji).
Dla SAOS zrealizować filtrowanie judgmentDate >= 2000-01-01.
Przechowywanie wszystkich otrzymanych pól — meta oraz pełny tekst orzeczenia.

B. Przechowywanie w Supabase

Partiowe przechowywanie danych (batch insert, do 1000–5000 rekordów na raz).
Użycie supabase-py do integracji.
Opracować schemat SQL:
- Oddzielne tabele dla sejm_documents oraz saos_judgments.
- Przechowywanie metadanych w JSONB.
- Indeksy dla kluczowych pól (data, sąd, typ dokumentu).

C. Niezawodność i kontrola procesu

Automatyczne przywracanie postępu po przerwaniu (checkpoint-file).
Ponowne próby w przypadku niepowodzeń (do 3 razy, z exponential backoff).
Szczegółowe logowanie — czas wykonania, otrzymane obiekty, błędy.

D. Wektoryzacja dla wyszukiwania

Po imporcie — chunking każdego dokumentu (25 chunków/dokument; rozmiar do omówienia, orientacyjnie 1500–2000 znaków).
Przechowywanie chunków w oddzielnej tabeli (document_chunks), z odniesieniem do oryginalnego dokumentu.
(Opcjonalnie) Formularz do dalszej wektoryzacji przez LLM API (Gemini Flash 2.5 lub inny odpowiednik).

3. Dane wejściowe

Sejm API: wszystkie dokumenty (zgodnie z dokumentacją), wszystkie typy, wszystkie lata.
SAOS API: wszystkie sądy, orzeczenia sądowe od 2000 roku.
Docelowa Baza Danych: nowy projekt Supabase (PostgreSQL), konto i klucze dostarcza zamawiający.
Oczekiwana liczba: 160,000+ , 520,000+ .

4. Struktura danych (SQL Schema)

Tabela: sejm_documents

sql
CREATE TABLE sejm_documents (
  id BIGSERIAL PRIMARY KEY,
  source_id TEXT UNIQUE NOT NULL,
  document_type TEXT,
  title TEXT,
  content TEXT,
  metadata JSONB,
  created_at TIMESTAMP DEFAULT NOW(),
  updated_at TIMESTAMP,
  is_processed BOOLEAN DEFAULT FALSE
);

Tabela: saos_judgments

sql
CREATE TABLE saos_judgments (
  id BIGSERIAL PRIMARY KEY,
  source_id TEXT UNIQUE NOT NULL,
  court_type TEXT,
  case_number TEXT,
  judgment_date DATE,
  text_content TEXT,
  metadata JSONB,
  created_at TIMESTAMP DEFAULT NOW(),
  updated_at TIMESTAMP,
  is_processed BOOLEAN DEFAULT FALSE
);

Tabela: document_chunks

sql
CREATE TABLE document_chunks (
  id BIGSERIAL PRIMARY KEY,
  document_id BIGINT REFERENCES sejm_documents(id) ON DELETE CASCADE,
  chunk_index INT,
  chunk_text TEXT,
  created_at TIMESTAMP DEFAULT NOW()
);

5. Deliverables (co musi być w wyniku)

Asynchroniczny skrypt Python (+ szczegółowa instrukcja uruchomienia)
Skrypty SQL do tworzenia niezbędnych tabel
README do wdrożenia projektu od zera
.env.example do konfiguracji kluczy Supabase
Dziennik logów, plik kontrolny do monitorowania postępu
(Opcjonalnie dla MVP): chunking testowych dokumentów do weryfikacji RAG/LLM indeksacji

6. Wymagania

Dokumentacja do skryptu!
Proste uruchomienie dla właściciela bez doświadczenia w programowaniu.

Oferty 5 Odrzucone 15

Proszę wybrać

Jakub Czajka

0 0

Zlecenia -
Ocena -
Ranking 169

Budżet: 8500 PLN Termin: 20 dni

Dzień dobry,

Proponuję opracowanie asynchronicznego skryptu Python do masowego ładowania dokumentów z API Sejmu i SAOS, ich przechowywania w Supabase oraz przygotowania do dalszej wektoryzacji dla LLM. Skrypt będzie wspierał batch insert, checkpointy, ponawianie prób oraz szczegółowe logowanie postępu.

Oferuję **wycenę 8 500 zł netto** z przewidywanym czasem realizacji **3–4 tygodni**.

W pracy wykorzystam asyncio + aiohttp do równoległego pobierania danych, supabase-py do integracji z bazą, a także opracuję schemat SQL i system chunkingu dokumentów, zapewniając łatwe uruchomienie i pełną dokumentację.

Posiadam doświadczenie w Pythonie, asynchronicznych skryptach masowego pobierania danych oraz pracy z PostgreSQL/Supabase, co pozwala na stabilne i skalowalne wdrożenie całego procesu.

Chętnie umówię się na spotkanie online, aby przedstawić plan wdrożenia, sposób chunkowania dokumentów oraz konsultację w zakresie integracji z LLM i API.

Kostyantin Grinyuk

0 0

Zlecenia -
Ocena -
Ranking 264

Budżet: 820 PLN Termin: 2 dni

Cześć!
Mam doświadczenie w Pythonie, asyncio i Supabase, pracowałem z dużymi danymi i API, gotowy jakościowo i szybko wykonać Twój projekt.

Roman Z.

7 0

Budżet: 1000 PLN Termin: 1 dzień

Dzień dobry!
Nazywam się Roman i jestem w czołówce 5 deweloperów w kategorii „Sztuczna inteligencja i uczenie maszynowe” wśród ~1600 specjalistów na platformie.
Gwarantuję:
- Szybkie i jakościowe wykonanie zadania
- Ścisłe przestrzeganie terminów
- Regularny kontakt przez cały proces
Będę zadowolony, mogąc omówić szczegóły twojego projektu w prywatnych wiadomościach.

Illia Antipiev

Oferta, która wygrała

63 2

Budżet: 820 PLN Termin: 7 dni

Witam
Mogę zrealizować twój projekt
Napiszę dobrą dokumentację
Dla łatwiejszego uruchomienia mogę zrobić kontener Docker

Orest K.

31 0

Zlecenia 32
Ocena -
Ranking 734

Budżet: 850 PLN Termin: 7 dni

Dzień dobry!
Mam komercyjne doświadczenie w pracy z Pythonem 3+ lat.
Pracowałem z supabase i tworzyłem skrypty automatyzacji. Jestem gotów wykonać Twój projekt.

Proponuję ulepszenia z własnego doświadczenia - to wykorzystanie circuit breaker + retry do zapytań do API. A nie skrypt SQL do tworzenia tabel, a migracje. Również w kwestii optymalizacji danych mam kilka pomysłów, chętnie bym je omówił.

Mam tylko kilka pytań dotyczących części AI, nie do końca rozumiem, co jest wymagane.

Michael Yanislav

0 0

Zlecenia -
Ocena -
Ranking 205

Budżet: 820 PLN Termin: 2 dni

Szanowny Maximilianie,

Nazywam się Michał i jestem deweloperem z ogromnym doświadczeniem w tworzeniu aplikacji internetowych, automatyzacji i zbieraniu danych. Z przyjemnością chciałbym zaoferować swoje usługi w celu pomyślnego zrealizowania Państwa projektu.
Z Państwa specyfikacji rozumiem, że najlepszym rozwiązaniem dla Państwa będzie napisanie skryptu w Pythonie z wykorzystaniem następującego stosu: requests/selenium, sqlalchemy, asyncio/threading. Jestem profesjonalistą w dziedzinie automatyzacji, pisałem wiele projektów związanych z równoległym parsowaniem, dla mnie nie ma znaczenia, jak skomplikowane jest źródło, z którego należy wydobyć dane, zostaną one wydobyte z maksymalną prędkością i jakością. Do obejścia ochrony API będę używał proxy, na koniec dostarczę wypełnioną bazę danych stworzoną za pomocą sqlalchemy oraz cały kod, w razie potrzeby podłączę sieci neuronowe.
Jestem pewien, że będę w stanie zrealizować Państwa pomysły i doprowadzić projekt do pomyślnego zakończenia.

Byłbym wdzięczny za możliwość omówienia Państwa projektu bardziej szczegółowo i odpowiedzenia na wszelkie pytania.

Alona Baryliuk

14 3

Budżet: 820 PLN Termin: 3 dni

Witam, zapoznałam się z twoim zadaniem i jestem zainteresowana jego realizacją, chciałabym z tobą współpracować. Zapraszam do rozmowy prywatnej w celu szczegółowej dyskusji.

Vadym Shrub

7 0

Budżet: 780 PLN Termin: 1 dzień

Dzień dobry, jestem gotów zająć się twoim projektem. Mam umiejętności w Pythonie.

Daniils Fjodorovs

2 0

Zlecenia -
Ocena -
Ranking 471

Budżet: 900 PLN Termin: 6 dni

gotowy, aby ci pomóc

myślę, że może możesz użyć go zamiast pythona

wygląda lepiej w tym przypadku

Nataliia M.

6 3

Budżet: 799 PLN Termin: 11 dni

Dzień dobry, zrobię wszystko jak mówicie. Mam nadzieję na współpracę, piszcie w prywatnych wiadomościach!

Gayane M.

0 0

Zlecenia -
Ocena -
Ranking 162

Budżet: 820 PLN Termin: 1 dzień

Dzień dobry.
Z zainteresowaniem zapoznałam się z Twoim projektem. Jestem pewna, że mogę wykonać efektywną i wysokiej jakości pracę zgodnie z Twoimi wymaganiami i oczekiwaniami. Posiadam ponad 8-letnie doświadczenie. Jestem gotowa omówić szczegóły i przystąpić do pracy. Czekam na Twoją odpowiedź.

Viktor Safronov

1 0

Zlecenia -
Ocena -
Ranking 292

Budżet: 820 PLN Termin: 2 dni

Cześć, mam duże doświadczenie w tworzeniu stron internetowych. Jestem gotów zrobić to szybko i jakościowo. Piszesz w wiadomościach prywatnych – omówimy szczegóły.

Ihor Doronin

9 0

Budżet: 1000 PLN Termin: 3 dni

Dobry wieczór, Maximilian!
Ogólnie zadanie jest zrozumiałe, aby uzyskać dokładną odpowiedź na temat terminów i ceny, chciałbym wyjaśnić kilka kwestii, które pojawiły się po analizie twojego zadania.
Pisz w prywatnych wiadomościach – omówimy szczegóły i twoje życzenia.

Dmitro F.

25 0

Budżet: 4000 PLN Termin: 25 dni

Witam! Proponuję zrealizować w języku Go, podzielić na sprinty i zacząć od prostego (odrzucić na pierwszych etapach wektoryzację, chunkowanie, ponowne próby), bo w ten sposób można nie zakończyć projektu. Minimalny start ceny.

Dmytro Zmenkov

1 1

Zlecenia -
Ocena -
Ranking 97

Budżet: 820 PLN Termin: 1 dzień

Witaj! Jestem gotów zrealizować ten projekt, mam duże doświadczenie w tworzeniu różnych aplikacji.

Jeo Vincent C.

4 2

Budżet: 820 PLN Termin: 7 dni

Cześć,
Cieszę się, że mogę aplikować na stanowisko związane z asynchronicznym wczytywaniem dokumentów i integracją Supabase. Posiadając głębokie doświadczenie w Pythonie (3.8+), aiohttp, asyncio i supabase-py, mogę dostarczyć solidny, skalowalny pipeline ETL dostosowany do Twoich potrzeb API i bazy danych.

Wcześniej budowałem podobne systemy do przetwarzania dokumentów o dużej objętości, w tym paginację, grupowanie (1k–5k wstawień), odzyskiwanie oparte na punktach kontrolnych oraz przechowywanie metadanych JSONB w PostgreSQL. Rozumiem również znaczenie dzielenia i strukturyzowania dokumentów dla przyszłych wyszukiwań opartych na wektorach i integracji LLM.

Otrzymasz w pełni udokumentowane, gotowe do produkcji rozwiązanie — kompletne z skryptami schematów, szablonami .env, logami i logiką ponawiania — zaprojektowane z myślą o łatwości wdrożenia nawet przez osoby nietechniczne.

Czekam na możliwość wniesienia wkładu w Twój projekt.

Z poważaniem,
Jeo Vincent Carretas

Vladislav T.

35 1

Budżet: 888 PLN Termin: 2 dni

Cześć, jestem tym, kogo potrzebujesz.
Mam duże doświadczenie w tworzeniu stron internetowych.
Napisz do mnie na prywatnej wiadomości, omówimy pracę.

Oleksii V.

0 0

Zlecenia -
Ocena -
Ranking 322

Budżet: 820 PLN Termin: 2 dni

Dzień dobry.

Jestem gotów wykonać twoje zadanie szybko i jakościowo.

Zalety:
- Łatwość użycia.
- Bezpłatne wsparcie przez 2 tygodnie po wykonaniu zamówienia i poprawie błędów.
- Przystępuję do pracy w dniu przyjęcia zamówienia i wykonuję w najkrótszym czasie.

Będę zadowolony ze współpracy.

Oleh Ovchynnykov

52 1

Budżet: 820 PLN Termin: 1 dzień

Dzień dobry

Proszę pisać, jestem gotów wykonać Państwa pracę.
Będę zadowolony, mogąc szybko i jakościowo pomóc w Państwa zadaniu.

W liście nie są widoczne oferty ukryte przez zleceniodawcę lub freelancerów z profilem Plus, a także oferty, które naruszają regulamin

Aktualne zlecenia dla freelancerów w kategorii Bazy danych i SQL

Opracowanie modułu CRM „Zgłoszenia” w niestandardowym 1C (centrum opon)

Zarządzanie klientami i CRM 12 ofert 31 lipca

Nie podano
Budowa automatycznego schematu ruchu towarowo-pieniężnego.

31 ofert 30 lipca

Nie podano
Wsparcie dla Samoturu i serwerów pod niego

17 ofert 27 lipca

85 PLN
Czyszczenie bazy klientów w SIMLA CRM: telefony, duplikaty, miasta

Zarządzanie klientami i CRM 41 ofert 27 lipca

678 PLN
Opracowanie systemu analitycznego z panelem sterowania

Automatyzacja zarządzania przedsiębiorstwem 43 oferty 20 lipca

Nie podano

Maximilian D
Warszawa, Polska

Zleceń 31
Konkursów 1
Ocena 4.9
Ranking 1 098

Maximilian D

Illia Antipiev

Jakub Czajka

Kostyantin Grinyuk

Roman Z.

Illia Antipiev

Orest K.

Aktualnie brak ofert

Michael Yanislav

Alona Baryliuk

Vadym Shrub

Daniils Fjodorovs

Nataliia M.

Gayane M.

Viktor Safronov

Ihor Doronin

Dmitro F.

Dmytro Zmenkov

Jeo Vincent C.

Vladislav T.

Oleksii V.

Oleh Ovchynnykov

Aktualne zlecenia dla freelancerów w kategorii Bazy danych i SQL

Opracowanie modułu CRM „Zgłoszenia” w niestandardowym 1C (centrum opon)

Budowa automatycznego schematu ruchu towarowo-pieniężnego.

Wsparcie dla Samoturu i serwerów pod niego

Czyszczenie bazy klientów w SIMLA CRM: telefony, duplikaty, miasta

Opracowanie systemu analitycznego z panelem sterowania