Фриланс-проєкти

Фриланс-проєкти

Python-скрипт для масового завантаження документів з двох API

Python, Бази даних та SQL — неправильно зазначені категорії?

9646 UAH

Відгук замовника про співпрацю з Illia Antipiev

Python-скрипт для масового завантаження документів з двох API

9646 UAH

Ілля, дякую за роботу. Проект був непростий але ви впоралися. Зайняло на багато більше часу ніж планувалося. Виконання завдання на 100% вимагало терпіння і багато поправок а також змін з нашої сторони. В кожному разі дякую!

4.5

Maximilian D

Зустрічний відгук

30 листопада 2025

Відгук фрилансера про співпрацю з Maximilian D

Python-скрипт для масового завантаження документів з двох API

9646 UAH

Дякую за співпрацю!
всі матеріали, доступи були надані вчасно і оновлювались по мірі необхідності
замовник пішов на зустріч, коли мав відкладати виконання з особистих причин
невеликий мінус - іноді приходиться відповідати на питання від ші, якому бракує контексту. тому приходилось повторюватись 😔 але слід віддати належне - деякі помилки він знаходить

4.6

Illia Antipiev

Зустрічний відгук

1 грудня 2025

Для роботи моб застосунку, необхідна база даних, яку LLM буде використовувати після запиту користувача в чаті. База даних має бути в Supabase. Якщо відповіді немає в БД тоді LLM звертатиметься по API до зовнішнього джерела.

1. Опис проєкту

Розробити асинхронний Python-скрипт для масового завантаження документів:

SITE API завантажити усі доступні документи всіх типів за весь період.
SITE API: завантажити усі документи, починаючи з 2000 року.

Зберігати повний текст, всі поля й метадані кожного документа. Цільова база — Supabase (PostgreSQL).

2. Функціональні вимоги

Завдання для виконавця на Python 3.8+:

A. Асинхронне масове завантаження через API

Використання aiohttp + asyncio для асинхронної роботи.
Паралелізація запитів (10–50 одновчасних з'єднань, без перевищення допустимих API-лімітів).
Підтримка пагінації (pageSize максимум для SAOS — 100, для Sejm уточнити по документації).
Для SAOS реалізувати фільтрацію judgmentDate >= 2000-01-01.
Збереження всіх отриманих полів — meta та повний текст рішення.

B. Збереження у Supabase

Пакетне збереження даних (batch insert, до 1000–5000 записів за раз).
Використання supabase-py для інтеграції.
Розробити SQL-схему:
- Відокремлені таблиці для sejm_documents та saos_judgments.
- Зберігання метаданих у JSONB.
- Індекси для ключових полів (дата, суд, тип документа).

C. Надійність і контроль процесу

Автоматично відновлювати прогрес після обриву (checkpoint-файл).
Повторні спроби при невдачах (до 3 разів, з exponential backoff).
Детальне логування — час виконання, отримані об'єкти, помилки.

D. Векторизація для пошуку

Після імпорту — chunking кожного документа (25 чанків/документ; розмір обговорити, орієнтовно 1500–2000 символів).
Збереження чанків у окремій таблиці (document_chunks), з посиланням на оригінальний документ.
(Опціонально) Форма для подальшої векторизації через LLM API (Gemini Flash 2.5 чи іншого аналога).

3. Вхідні дані

Sejm API: всі документи (за документацією), всі типи, всі роки.
SAOS API: всі суди, судові рішення з 2000 року.
Цільова БД: новий проєкт Supabase (PostgreSQL), обліковий запис і ключи надає замовник.
Очікувана кількість: 160,000+ , 520,000+ .

4. Структура даних (SQL Schema)

Таблиця: sejm_documents

sql
CREATE TABLE sejm_documents (
  id BIGSERIAL PRIMARY KEY,
  source_id TEXT UNIQUE NOT NULL,
  document_type TEXT,
  title TEXT,
  content TEXT,
  metadata JSONB,
  created_at TIMESTAMP DEFAULT NOW(),
  updated_at TIMESTAMP,
  is_processed BOOLEAN DEFAULT FALSE
);

Таблиця: saos_judgments

sql
CREATE TABLE saos_judgments (
  id BIGSERIAL PRIMARY KEY,
  source_id TEXT UNIQUE NOT NULL,
  court_type TEXT,
  case_number TEXT,
  judgment_date DATE,
  text_content TEXT,
  metadata JSONB,
  created_at TIMESTAMP DEFAULT NOW(),
  updated_at TIMESTAMP,
  is_processed BOOLEAN DEFAULT FALSE
);

Таблиця: document_chunks

sql
CREATE TABLE document_chunks (
  id BIGSERIAL PRIMARY KEY,
  document_id BIGINT REFERENCES sejm_documents(id) ON DELETE CASCADE,
  chunk_index INT,
  chunk_text TEXT,
  created_at TIMESTAMP DEFAULT NOW()
);

5. Deliverables (що мусить бути у результаті)

Асинхронний Python-скрипт (+ докладна інструкція по запуску)
SQL-скрипти для створення необхідних таблиць
README для розгортання проєкту з нуля
.env.example для налаштування ключів Supabase
Журнал логів, контрольний файл для моніторингу прогресу
(Опціонально для MVP): chunking тестових документів для перевірки RAG/LLM індексації

6. Вимоги

Документація до скрипта!
Простий запуск для власника без досвіду програмування.

Ставки 5 Відхилені 15

Будь ласка, виберіть

Jakub Czajka

0 0

Проєкти -
Оцінка -
Рейтинг 169

Бюджет: 8500 PLN Термін: 20 днів

Доброго дня,

Пропоную розробку асинхронного скрипту Python для масового завантаження документів з API Сейму та SAOS, їх зберігання в Supabase та підготовки до подальшої векторизації для LLM. Скрипт підтримуватиме пакетне вставлення, контрольні точки, повторні спроби та детальне логування прогресу.

Пропоную **оцінку 8 500 грн нетто** з прогнозованим часом виконання **3–4 тижні**.

У роботі використаю asyncio + aiohttp для паралельного завантаження даних, supabase-py для інтеграції з базою, а також розроблю схему SQL і систему чункування документів, забезпечуючи легкий запуск і повну документацію.

Маю досвід у Python, асинхронних скриптах масового завантаження даних та роботі з PostgreSQL/Supabase, що дозволяє надійно та масштабовано впровадити весь процес.

З радістю домовлюся про онлайн-зустріч, щоб представити план впровадження, спосіб чункування документів та консультацію щодо інтеграції з LLM та API.

Костянтин Гринюк

0 0

Проєкти -
Оцінка -
Рейтинг 192

Бюджет: 820 PLN Термін: 2 дні

Привіт!
Маю досвід у Python, asyncio та Supabase, працював із великими даними та API, готовий якісно і швидко виконати ваш проєкт.

Roman Z.

7 0

Проєкти 7
Оцінка 5.0
Рейтинг 1 562

Бюджет: 1000 PLN Термін: 1 день

Доброго дня!
Мене звати Роман, і я входжу до топ-5 розробників у категорії «Штучний інтелект і машинне навчання» серед ~1600 фахівців на платформі.
Гарантую:
- Швидке та якісне виконання завдання
- Чітке дотримання дедлайнів
- Регулярний зв'язок протягом усього процесу
Буду радий обговорити деталі вашого проекту у приватних повідомленнях.

Illia Antipiev

Переможець

63 2

Проєкти 61
Оцінка 4.8
Рейтинг 2 209

Бюджет: 820 PLN Термін: 7 днів

Вітаю
Зможу виконати ваш проект
Напишу хорошу документацію
Для простішого запуску можу зробити докер контейнер

Орест Х.

31 0

Проєкти 32
Оцінка -
Рейтинг 758

Бюджет: 850 PLN Термін: 7 днів

Добрий день!
Маю комерційний досвід роботи із Python 3+ років.
Працював із supabase, та створював скрипти автомазиції. Готовий виконати ваш проект

Пропоную покращення з власного досвіду - це використати circuit breaker + retry для запитів до API. Та не sql скрипт для створення таблиць а міграції. Також стосовно оптимізації даних маю декілька ідей, з радістю б їх обговорив

Маю тільки декілька запитань по AI частині, не до кінця розумію що вимагається.

Michael Yanislav

0 0

Проєкти -
Оцінка -
Рейтинг 205

Бюджет: 820 PLN Термін: 2 дні

Шановний Максиміліане,

Мене звати Михайло, і я розробник з величезним досвідом у розробці веб-додатків, автоматизації та збору даних. І з задоволенням хочу запропонувати свої послуги для успішного виконання вашого проекту.
З вашого ТЗ, я розумію, що найкращим рішенням для вас буде написання скрипта на Python з використанням наступного стеку: requests/selenium, sqlalchemy, asyncio/threading. Я професіонал у сфері автоматизації, писав безліч проектів, пов'язаних з паралельним парсингом, для мене не важливо, наскільки складний ресурс, звідки потрібно витягти дані, вони будуть витягнуті з максимальною швидкістю та якістю. Для обходу захисту API буду використовувати проксі, в кінці надам заповнену базу даних, створену через sqlalchemy, і весь код, за необхідності підключу нейромережі.
Впевнений, що зможу реалізувати ваші ідеї та довести проект до успішного завершення.

Я був би радий можливості обговорити ваш проект детальніше і відповісти на будь-які ваші запитання.

Alona Baryliuk

14 3

Проєкти 14
Оцінка 3.6
Рейтинг 1 288

Бюджет: 820 PLN Термін: 3 дні

Вітаю, ознайомилась з вашим завдання та я зацікавлена в його реалізації, хотіла б з вами співпрацювати. Запрошую до особистих для детальнішого обговорення.

Vadym Shrub

6 0

Проєкти 6
Оцінка 5.0
Рейтинг 1 324

Бюджет: 780 PLN Термін: 1 день

Добрий день, я готов взятися за ваш проєкт. Маю навики з пайтоном

Daniils Fjodorovs

2 0

Проєкти -
Оцінка -
Рейтинг 475

Бюджет: 900 PLN Термін: 6 днів

готовий допомогти вам

я думаю, можливо, ви можете використовувати go замість python

це виглядає краще для цього випадку використання

Наталія М.

6 3

Проєкти 6
Оцінка 4.4
Рейтинг 1 005

Бюджет: 799 PLN Термін: 11 днів

Добрий день, зроблю все як кажете. Сподіваюсь на співпрацю, пишіть в приватні повідомлення!

Gayane M.

0 0

Проєкти -
Оцінка -
Рейтинг 162

Бюджет: 820 PLN Термін: 1 день

Доброго дня.
З інтересом ознайомилася з Вашим проектом. Впевнена, що зможу зробити ефективну та якісну роботу, що відповідає Вашим вимогам і очікуванням. Досвід роботи понад 8 років. Готова обговорити деталі та розпочати роботу. Чекаю на Вашу відповідь.

Виктор Сафронов

1 0

Проєкти -
Оцінка -
Рейтинг 292

Бюджет: 820 PLN Термін: 2 дні

Доброго дня, маю великий досвід веб-розробки. Готовий зробити швидко і якісно. Пишіть в особисті повідомлення – обговоримо деталі.

Ігор Доронін

9 0

Проєкти 9
Оцінка 5.0
Рейтинг 656

Бюджет: 1000 PLN Термін: 3 дні

Доброго вечора, Maximilian!
Загалом завдання зрозуміле, для точної відповіді за термінами та ціною, хотілося б уточнити деякі питання, які у мене виникли після аналізу вашого завдання.
Пишіть у приватні повідомлення – обговоримо деталі та ваші побажання.

Дмитро Ф.

25 0

Проєкти 25
Оцінка 5.0
Рейтинг 4 272

Бюджет: 4000 PLN Термін: 25 днів

Вітаю! Пропоную реалізувати на мові Go, розділити на спринти і почати з простого (відкинути на перших етапах векторизацію, чанки, повторні спроби), бо так можна не завершити проєкт. Мінімальний старт ціни

Dmytro Zmenkov

1 1

Проєкти -
Оцінка -
Рейтинг 121

Бюджет: 820 PLN Термін: 1 день

Привіт! Готовий виконати цей проект, маю великий досвід розробки різних додатків.

Jeo Vincent C.

4 2

Проєкти 4
Оцінка 4.6
Рейтинг 12 784

Бюджет: 820 PLN Термін: 7 днів

Привіт,
Я радий подати заявку на роль, пов'язану з асинхронним завантаженням документів та інтеграцією Supabase. Маючи глибокий досвід у Python (3.8+), aiohttp, asyncio та supabase-py, я можу створити надійний, масштабований ETL конвеєр, адаптований до ваших потреб API та бази даних.

Раніше я створював подібні системи для обробки документів великого обсягу, включаючи пагінацію, пакетну обробку (1к–5к вставок), відновлення на основі контрольних точок та зберігання метаданих JSONB у PostgreSQL. Я також розумію важливість розбиття та структурування документів для майбутнього векторного пошуку та інтеграції LLM.

Ви отримаєте повністю документоване, готове до виробництва рішення — з усіма скриптами схеми, шаблонами .env, журналами та логікою повторних спроб — розроблене для зручності розгортання навіть для недосвідчених розробників.

Чекаю з нетерпінням можливості внести свій внесок у ваш проект.

З найкращими побажаннями,
Джо Вінсент Карретас

Владислав Т.

35 1

Проєкти 35
Оцінка 4.2
Рейтинг 1 251

Бюджет: 888 PLN Термін: 2 дні

Доброго дня, я той, хто вам потрібен.
За плечима великий досвід веб-розробки.
Пишіть в особисті повідомлення, обговоримо роботу.

Олексій В.

0 0

Проєкти -
Оцінка -
Рейтинг 342

Бюджет: 820 PLN Термін: 2 дні

Доброго дня.

Готовий виконати вашу задачу швидко і якісно.

Переваги:
- Простота використання.
- Безкоштовна підтримка протягом 2 тижнів після виконання замовлення та виправлення помилок.
- Приступаю до роботи в день прийняття замовлення та виконую в найкоротші терміни.

Буду радий співпрацювати.

Oleh Ovchynnykov

52 1

Проєкти 53
Оцінка 4.4
Рейтинг 3 186

Бюджет: 820 PLN Термін: 1 день

Доброго дня

пишіть готовий зробити вашу роботу
Буду радий допомогти з вашою задачею швидко і якісно

Maximilian D
Warszawa, Польща

Проєктів 31
Конкурсів 1
Оцінка 4.9
Рейтинг 1 102

Maximilian D

Illia Antipiev

Jakub Czajka

Костянтин Гринюк

Roman Z.

Illia Antipiev

Орест Х.

Ставки поки відсутні

Michael Yanislav

Alona Baryliuk

Vadym Shrub

Daniils Fjodorovs

Наталія М.

Gayane M.

Виктор Сафронов

Ігор Доронін

Дмитро Ф.

Dmytro Zmenkov

Jeo Vincent C.

Владислав Т.

Олексій В.

Oleh Ovchynnykov

Ставки приховані

Актуальні фриланс-проєкти в категорії Python