Python-скрипт для масового завантаження документів з двох API
10 038 UAHДля роботи моб застосунку, необхідна база даних, яку LLM буде використовувати після запиту користувача в чаті. База даних має бути в Supabase. Якщо відповіді немає в БД тоді LLM звертатиметься по API до зовнішнього джерела.
1. Опис проєкту
Розробити асинхронний Python-скрипт для масового завантаження документів:
SITE API завантажити усі доступні документи всіх типів за весь період.
SITE API: завантажити усі документи, починаючи з 2000 року.
Зберігати повний текст, всі поля й метадані кожного документа. Цільова база — Supabase (PostgreSQL).
2. Функціональні вимоги
Завдання для виконавця на Python 3.8+:
A. Асинхронне масове завантаження через API
Використання
aiohttp+asyncioдля асинхронної роботи.Паралелізація запитів (10–50 одновчасних з'єднань, без перевищення допустимих API-лімітів).
Підтримка пагінації (
pageSizeмаксимум для SAOS — 100, для Sejm уточнити по документації).Для SAOS реалізувати фільтрацію
judgmentDate >= 2000-01-01.Збереження всіх отриманих полів — meta та повний текст рішення.
B. Збереження у Supabase
Пакетне збереження даних (batch insert, до 1000–5000 записів за раз).
Використання
supabase-pyдля інтеграції.Розробити SQL-схему:
Відокремлені таблиці для sejm_documents та saos_judgments.
Зберігання метаданих у JSONB.
Індекси для ключових полів (дата, суд, тип документа).
C. Надійність і контроль процесу
Автоматично відновлювати прогрес після обриву (checkpoint-файл).
Повторні спроби при невдачах (до 3 разів, з exponential backoff).
Детальне логування — час виконання, отримані об'єкти, помилки.
D. Векторизація для пошуку
Після імпорту — chunking кожного документа (25 чанків/документ; розмір обговорити, орієнтовно 1500–2000 символів).
Збереження чанків у окремій таблиці (
document_chunks), з посиланням на оригінальний документ.(Опціонально) Форма для подальшої векторизації через LLM API (Gemini Flash 2.5 чи іншого аналога).
3. Вхідні дані
Sejm API: всі документи (за документацією), всі типи, всі роки.
SAOS API: всі суди, судові рішення з 2000 року.
Цільова БД: новий проєкт Supabase (PostgreSQL), обліковий запис і ключи надає замовник.
Очікувана кількість: 160,000+ , 520,000+ .
4. Структура даних (SQL Schema)
Таблиця: sejm_documents
sqlCREATE TABLE sejm_documents (
id BIGSERIAL PRIMARY KEY,
source_id TEXT UNIQUE NOT NULL,
document_type TEXT,
title TEXT,
content TEXT,
metadata JSONB,
created_at TIMESTAMP DEFAULT NOW(),
updated_at TIMESTAMP,
is_processed BOOLEAN DEFAULT FALSE
);
Таблиця: saos_judgments
sqlCREATE TABLE saos_judgments (
id BIGSERIAL PRIMARY KEY,
source_id TEXT UNIQUE NOT NULL,
court_type TEXT,
case_number TEXT,
judgment_date DATE,
text_content TEXT,
metadata JSONB,
created_at TIMESTAMP DEFAULT NOW(),
updated_at TIMESTAMP,
is_processed BOOLEAN DEFAULT FALSE
);
Таблиця: document_chunks
sqlCREATE TABLE document_chunks (
id BIGSERIAL PRIMARY KEY,
document_id BIGINT REFERENCES sejm_documents(id) ON DELETE CASCADE,
chunk_index INT,
chunk_text TEXT,
created_at TIMESTAMP DEFAULT NOW()
);
5. Deliverables (що мусить бути у результаті)
Асинхронний Python-скрипт (+ докладна інструкція по запуску)
SQL-скрипти для створення необхідних таблиць
README для розгортання проєкту з нуля
.env.exampleдля налаштування ключів SupabaseЖурнал логів, контрольний файл для моніторингу прогресу
(Опціонально для MVP): chunking тестових документів для перевірки RAG/LLM індексації
6. Вимоги
Документація до скрипта!
Простий запуск для власника без досвіду програмування.
Відгук замовника про співпрацю з Illia Antipiev
Python-скрипт для масового завантаження документів з двох APIІлля, дякую за роботу. Проект був непростий але ви впоралися. Зайняло на багато більше часу ніж планувалося. Виконання завдання на 100% вимагало терпіння і багато поправок а також змін з нашої сторони. В кожному разі дякую!
Відгук фрилансера про співпрацю з Maximilian D
Python-скрипт для масового завантаження документів з двох APIДякую за співпрацю!
всі матеріали, доступи були надані вчасно і оновлювались по мірі необхідності
замовник пішов на зустріч, коли мав відкладати виконання з особистих причин
невеликий мінус - іноді приходиться відповідати на питання від ші, якому бракує контексту. тому приходилось повторюватись 😔 але слід віддати належне - деякі помилки він знаходить
-
20 днів104 055 UAH
169 20 днів104 055 UAHДоброго дня,
Пропоную розробку асинхронного скрипту Python для масового завантаження документів з API Сейму та SAOS, їх зберігання в Supabase та підготовки до подальшої векторизації для LLM. Скрипт підтримуватиме пакетне вставлення, контрольні точки, повторні спроби та детальне логування прогресу.
Пропоную **оцінку 8 500 грн нетто** з прогнозованим часом виконання **3–4 тижні**.
У роботі використаю asyncio + aiohttp для паралельного завантаження даних, supabase-py для інтеграції з базою, а також розроблю схему SQL і систему чункування документів, забезпечуючи легкий запуск і повну документацію.
Маю досвід у Python, асинхронних скриптах масового завантаження даних та роботі з PostgreSQL/Supabase, що дозволяє надійно та масштабовано впровадити весь процес.
…
З радістю домовлюся про онлайн-зустріч, щоб представити план впровадження, спосіб чункування документів та консультацію щодо інтеграції з LLM та API.
-
2 дні10 038 UAH
216 2 дні10 038 UAHПривіт!
Маю досвід у Python, asyncio та Supabase, працював із великими даними та API, готовий якісно і швидко виконати ваш проєкт.
-
1 день12 242 UAH
1562 7 0 1 день12 242 UAHДоброго дня!
Мене звати Роман, і я входжу до топ-5 розробників у категорії «Штучний інтелект і машинне навчання» серед ~1600 фахівців на платформі.
Гарантую:
- Швидке та якісне виконання завдання
- Чітке дотримання дедлайнів
- Регулярний зв'язок протягом усього процесу
Буду радий обговорити деталі вашого проекту у приватних повідомленнях.
-
Переможець7 днів10 038 UAH
2248 63 2 2 Переможець7 днів10 038 UAHВітаю
Зможу виконати ваш проект
Напишу хорошу документацію
Для простішого запуску можу зробити докер контейнер
-
7 днів10 406 UAH
758 31 0 7 днів10 406 UAHДобрий день!
Маю комерційний досвід роботи із Python 3+ років.
Працював із supabase, та створював скрипти автомазиції. Готовий виконати ваш проект
Пропоную покращення з власного досвіду - це використати circuit breaker + retry для запитів до API. Та не sql скрипт для створення таблиць а міграції. Також стосовно оптимізації даних маю декілька ідей, з радістю б їх обговорив
Маю тільки декілька запитань по AI частині, не до кінця розумію що вимагається.
-
2 дні10 038 UAH
205 2 дні10 038 UAHШановний Максиміліане,
Мене звати Михайло, і я розробник з величезним досвідом у розробці веб-додатків, автоматизації та збору даних. І з задоволенням хочу запропонувати свої послуги для успішного виконання вашого проекту.
З вашого ТЗ, я розумію, що найкращим рішенням для вас буде написання скрипта на Python з використанням наступного стеку: requests/selenium, sqlalchemy, asyncio/threading. Я професіонал у сфері автоматизації, писав безліч проектів, пов'язаних з паралельним парсингом, для мене не важливо, наскільки складний ресурс, звідки потрібно витягти дані, вони будуть витягнуті з максимальною швидкістю та якістю. Для обходу захисту API буду використовувати проксі, в кінці надам заповнену базу даних, створену через sqlalchemy, і весь код, за необхідності підключу нейромережі.
Впевнений, що зможу реалізувати ваші ідеї та довести проект до успішного завершення.
Я був би радий можливості обговорити ваш проект детальніше і відповісти на будь-які ваші запитання.
-
3 дні10 038 UAH
1430 14 3 1 3 дні10 038 UAHВітаю, ознайомилась з вашим завдання та я зацікавлена в його реалізації, хотіла б з вами співпрацювати. Запрошую до особистих для детальнішого обговорення.
-
1 день9549 UAH
1310 6 0 1 день9549 UAHДобрий день, я готов взятися за ваш проєкт. Маю навики з пайтоном
-
6 днів11 018 UAH
475 2 0 6 днів11 018 UAHготовий допомогти вам
я думаю, можливо, ви можете використовувати go замість python
це виглядає краще для цього випадку використання
-
11 днів9781 UAH
981 6 3 11 днів9781 UAHДобрий день, зроблю все як кажете. Сподіваюсь на співпрацю, пишіть в приватні повідомлення!
-
1 день10 038 UAH
162 1 день10 038 UAHДоброго дня.
З інтересом ознайомилася з Вашим проектом. Впевнена, що зможу зробити ефективну та якісну роботу, що відповідає Вашим вимогам і очікуванням. Досвід роботи понад 8 років. Готова обговорити деталі та розпочати роботу. Чекаю на Вашу відповідь.
-
2 дні10 038 UAH
316 1 0 2 дні10 038 UAHДоброго дня, маю великий досвід веб-розробки. Готовий зробити швидко і якісно. Пишіть в особисті повідомлення – обговоримо деталі.
-
3 дні12 242 UAH
656 9 0 3 дні12 242 UAHДоброго вечора, Maximilian!
Загалом завдання зрозуміле, для точної відповіді за термінами та ціною, хотілося б уточнити деякі питання, які у мене виникли після аналізу вашого завдання.
Пишіть у приватні повідомлення – обговоримо деталі та ваші побажання.
-
25 днів48 967 UAH
4272 25 0 25 днів48 967 UAHВітаю! Пропоную реалізувати на мові Go, розділити на спринти і почати з простого (відкинути на перших етапах векторизацію, чанки, повторні спроби), бо так можна не завершити проєкт. Мінімальний старт ціни
-
1 день10 038 UAH
172 1 1 1 день10 038 UAHПривіт! Готовий виконати цей проект, маю великий досвід розробки різних додатків.
-
7 днів10 038 UAH
12784 4 2 7 днів10 038 UAHПривіт,
Я радий подати заявку на роль, пов'язану з асинхронним завантаженням документів та інтеграцією Supabase. Маючи глибокий досвід у Python (3.8+), aiohttp, asyncio та supabase-py, я можу створити надійний, масштабований ETL конвеєр, адаптований до ваших потреб API та бази даних.
Раніше я створював подібні системи для обробки документів великого обсягу, включаючи пагінацію, пакетну обробку (1к–5к вставок), відновлення на основі контрольних точок та зберігання метаданих JSONB у PostgreSQL. Я також розумію важливість розбиття та структурування документів для майбутнього векторного пошуку та інтеграції LLM.
Ви отримаєте повністю документоване, готове до виробництва рішення — з усіма скриптами схеми, шаблонами .env, журналами та логікою повторних спроб — розроблене для зручності розгортання навіть для недосвідчених розробників.
Чекаю з нетерпінням можливості внести свій внесок у ваш проект.
… З найкращими побажаннями,
Джо Вінсент Карретас
-
2 дні10 871 UAH
1251 35 1 3 2 дні10 871 UAHДоброго дня, я той, хто вам потрібен.
За плечима великий досвід веб-розробки.
Пишіть в особисті повідомлення, обговоримо роботу.
-
2 дні10 038 UAH
342 2 дні10 038 UAHДоброго дня.
Готовий виконати вашу задачу швидко і якісно.
Переваги:
- Простота використання.
- Безкоштовна підтримка протягом 2 тижнів після виконання замовлення та виправлення помилок.
- Приступаю до роботи в день прийняття замовлення та виконую в найкоротші терміни.
… Буду радий співпрацювати.
-
1 день10 038 UAH
3096 50 1 1 день10 038 UAHДоброго дня
пишіть готовий зробити вашу роботу
Буду радий допомогти з вашою задачею швидко і якісно
Актуальні фриланс-проєкти в категорії Python
Telegram bot для найму/пошуку працівників. Для пошуку роботи
1100 UAH
1. Загальна концепція Створення Telegram-бота для автоматизації підбору персоналу та двостороннього пошуку роботи. Система працює за принципом активного відгуку та взаємного підтвердження інтересу (Double Opt-In). У системі передбачено дві ролі: Роботодавець (Власник фірми) та… Python, Розробка ботів ∙ 1 день тому ∙ 82 ставки |
Технічна підтримка веб-платформи (Python/Django)Є працюючий веб-проект, потрібно підтримувати і поступово приводити в порядок, без переписування з нуля. Стек проекту: Backend: Python, Django, Django Rest Framework Frontend: Next.js База даних: PostgreSQL Інфраструктура: AWS (EC2), Nginx Є інтеграції з зовнішніми API… Python, Веб-програмування ∙ 1 день 3 години тому ∙ 67 ставок |
Розробка веб-сервісу з платним доступом до онлайн-чатуДоброго дня, необхідно розробити веб-сервіс, який включає: * персональні посилання для користувачів; * сторінку з описом послуги; * оплату через PayPal; * онлайн-чат в реальному часі; * відображення відео на сторінці користувача; * облік оплаченного часу та автоматичне… Python, Веб-програмування ∙ 2 дні 4 години тому ∙ 74 ставки |
Створення додаткуБажаю створити мобільний додаток для спілкування, в застосунку має бути аудіо,відео дзвінок, створення групових чатів,можливість синхронізувати з контактами телефону, налаштуваннями акаунта: привязка по мейлу, 2фа, номеру телефону,можливість налаштовувати сповіщення… Java, Python ∙ 3 дні 2 години тому ∙ 36 ставок |
Налаштування двосторонньої інтеграції WhatsApp з Odoo CRMВітаю! Шукаємо спеціаліста для реалізації технічного завдання з налаштування двосторонньої інтеграції месенджера WhatsApp з CRM-системою Odoo. ⚠️ Важливе технічне уточнення:Офіційний WhatsApp Business API (WABA) не розглядається. Необхідно впровадити стабільне «сіре» рішення… Python, Веб-програмування ∙ 3 дні 12 годин тому ∙ 24 ставки |
Warszawa