Фриланс-проекты

Фриланс-проекты

Python-скрипт для массовой загрузки документов из двух API

Python, Базы данных и SQL — неверно указаны категории?

9726 UAH

Отзыв заказчика о сотрудничестве с Illia Antipiev

Python-скрипт для массовой загрузки документов из двух API

9726 UAH

Илья, спасибо за работу. Проект был непростым, но вы справились. Заняло на много больше времени, чем планировалось. Выполнение задания на 100% требовало терпения и много правок, а также изменений с нашей стороны. В любом случае, спасибо!

4.5

Maximilian D

Встречный отзыв

30 ноября 2025

Отзыв фрилансера о сотрудничестве с Maximilian D

Python-скрипт для массовой загрузки документов из двух API

9726 UAH

Спасибо за сотрудничество! Все материалы, доступы были предоставлены вовремя и обновлялись по мере необходимости. Заказчик пошел навстречу, когда ему приходилось откладывать выполнение по личным причинам. Небольшой минус - иногда приходится отвечать на вопросы от человека, которому не хватает контекста. Поэтому приходилось повторяться 😔 Но следует отдать должное - некоторые ошибки он находит.

4.6

Illia Antipiev

Встречный отзыв

1 декабря 2025

Проект переведен автоматически. Войдите или зарегистрируйтесь, чтобы увидеть оригинал

Для работы мобильного приложения необходима база данных, которую LLM будет использовать после запроса пользователя в чате. База данных должна быть в Supabase. Если ответа нет в БД, тогда LLM будет обращаться по API к внешнему источнику.

1. Описание проекта

Разработать асинхронный Python-скрипт для массовой загрузки документов:

SITE API загрузить все доступные документы всех типов за весь период.
SITE API: загрузить все документы, начиная с 2000 года.

Сохранять полный текст, все поля и метаданные каждого документа. Целевая база — Supabase (PostgreSQL).

2. Функциональные требования

Задача для исполнителя на Python 3.8+:

A. Асинхронная массовая загрузка через API

Использование aiohttp + asyncio для асинхронной работы.
Параллелизация запросов (10–50 одновременных соединений, без превышения допустимых API-лимитов).
Поддержка пагинации (pageSize максимум для SAOS — 100, для Sejm уточнить по документации).
Для SAOS реализовать фильтрацию judgmentDate >= 2000-01-01.
Сохранение всех полученных полей — meta и полный текст решения.

B. Сохранение в Supabase

Пакетное сохранение данных (batch insert, до 1000–5000 записей за раз).
Использование supabase-py для интеграции.
Разработать SQL-схему:
- Отдельные таблицы для sejm_documents и saos_judgments.
- Сохранение метаданных в JSONB.
- Индексы для ключевых полей (дата, суд, тип документа).

C. Надежность и контроль процесса

Автоматически восстанавливать прогресс после обрыва (checkpoint-файл).
Повторные попытки при неудачах (до 3 раз, с exponential backoff).
Детальное логирование — время выполнения, полученные объекты, ошибки.

D. Векторизация для поиска

После импорта — chunking каждого документа (25 чанков/документ; размер обсудить, ориентировочно 1500–2000 символов).
Сохранение чанков в отдельной таблице (document_chunks), с ссылкой на оригинальный документ.
(Опционально) Форма для дальнейшей векторизации через LLM API (Gemini Flash 2.5 или другого аналога).

3. Входные данные

Sejm API: все документы (по документации), все типы, все годы.
SAOS API: все суды, судебные решения с 2000 года.
Целевая БД: новый проект Supabase (PostgreSQL), учетная запись и ключи предоставляет заказчик.
Ожидаемое количество: 160,000+ , 520,000+ .

4. Структура данных (SQL Schema)

Таблица: sejm_documents

sql
CREATE TABLE sejm_documents (
  id BIGSERIAL PRIMARY KEY,
  source_id TEXT UNIQUE NOT NULL,
  document_type TEXT,
  title TEXT,
  content TEXT,
  metadata JSONB,
  created_at TIMESTAMP DEFAULT NOW(),
  updated_at TIMESTAMP,
  is_processed BOOLEAN DEFAULT FALSE
);

Таблица: saos_judgments

sql
CREATE TABLE saos_judgments (
  id BIGSERIAL PRIMARY KEY,
  source_id TEXT UNIQUE NOT NULL,
  court_type TEXT,
  case_number TEXT,
  judgment_date DATE,
  text_content TEXT,
  metadata JSONB,
  created_at TIMESTAMP DEFAULT NOW(),
  updated_at TIMESTAMP,
  is_processed BOOLEAN DEFAULT FALSE
);

Таблица: document_chunks

sql
CREATE TABLE document_chunks (
  id BIGSERIAL PRIMARY KEY,
  document_id BIGINT REFERENCES sejm_documents(id) ON DELETE CASCADE,
  chunk_index INT,
  chunk_text TEXT,
  created_at TIMESTAMP DEFAULT NOW()
);

5. Deliverables (что должно быть в результате)

Асинхронный Python-скрипт (+ подробная инструкция по запуску)
SQL-скрипты для создания необходимых таблиц
README для развертывания проекта с нуля
.env.example для настройки ключей Supabase
Журнал логов, контрольный файл для мониторинга прогресса
(Опционально для MVP): chunking тестовых документов для проверки RAG/LLM индексации

6. Требования

Документация к скрипту!
Простой запуск для владельца без опыта программирования.

Ставки 5 Отклоненные 15

Пожалуйста выберите

Jakub Czajka

0 0

Проекты -
Оценка -
Рейтинг 169

Бюджет: 8500 PLN Срок: 20 дней

Добрый день,

Предлагаю разработку асинхронного скрипта Python для массовой загрузки документов из API Сейма и SAOS, их хранения в Supabase, а также подготовки к дальнейшей векторизации для LLM. Скрипт будет поддерживать пакетную вставку, контрольные точки, повторные попытки и детальную регистрацию прогресса.

Предлагаю **оценку 8 500 зл нетто** с предполагаемым временем выполнения **3–4 недели**.

В работе я использую asyncio + aiohttp для параллельной загрузки данных, supabase-py для интеграции с базой, а также разработаю схему SQL и систему разбиения документов, обеспечивая легкий запуск и полную документацию.

У меня есть опыт работы с Python, асинхронными скриптами массовой загрузки данных и работой с PostgreSQL/Supabase, что позволяет обеспечить стабильное и масштабируемое внедрение всего процесса.

С удовольствием назначу встречу онлайн, чтобы представить план внедрения, способ разбиения документов и консультацию по интеграции с LLM и API.

Костянтин Гринюк

0 0

Проекты -
Оценка -
Рейтинг 192

Бюджет: 820 PLN Срок: 2 дня

Привет!
У меня есть опыт в Python, asyncio и Supabase, работал с большими данными и API, готов качественно и быстро выполнить ваш проект.

Roman Z.

7 0

Проекты 7
Оценка 5.0
Рейтинг 1 562

Бюджет: 1000 PLN Срок: 1 день

Добрый день!
Меня зовут Роман, и я вхожу в топ-5 разработчиков в категории «Искусственный интеллект и машинное обучение» среди ~1600 специалистов на платформе.
Гарантирую:
- Быстрое и качественное выполнение задания
- Четкое соблюдение дедлайнов
- Регулярная связь на протяжении всего процесса
Буду рад обсудить детали вашего проекта в личных сообщениях.

Illia Antipiev

Победившая ставка

63 2

Проекты 61
Оценка 4.8
Рейтинг 2 209

Бюджет: 820 PLN Срок: 7 дней

Здравствуйте
Смогу выполнить ваш проект
Напишу хорошую документацию
Для упрощенного запуска могу сделать докер-контейнер

Орест Х.

31 0

Проекты 32
Оценка -
Рейтинг 758

Бюджет: 850 PLN Срок: 7 дней

Добрый день!
У меня коммерческий опыт работы с Python 3+ года.
Работал с supabase и создавал скрипты автоматизации. Готов выполнить ваш проект.

Предлагаю улучшения из собственного опыта - это использовать circuit breaker + retry для запросов к API. А не sql скрипт для создания таблиц, а миграции. Также по поводу оптимизации данных у меня есть несколько идей, с радостью бы их обсудил.

У меня только несколько вопросов по части AI, не до конца понимаю, что требуется.

Michael Yanislav

0 0

Проекты -
Оценка -
Рейтинг 205

Бюджет: 820 PLN Срок: 2 дня

Уважаемый Maximilian,

Меня зовут Михаил, и я разработчик с огромным опытом в разработке веб-приложений, автоматизации и сбора данных. И с удовольствием хочу предложить свои услуги для успешного выполнения вашего проекта.
Из вашего ТЗ, я понимаю, что наиболее лучшим решением для вас будет написание скрипта на Puthon с использованием следующего стека: requests/selenium, sqlaclhemy, asyncio/threading. Я профессионал в области автоматизации, писал множество проектов связанные с параллельным парсингом, для меня неважно насколько сложен ресурс откуда нужно извлечь данные, они будут извлечены с максимальной скоростью и качеством. Для обхода защиты API буду использовать прокси, в конце предоставлю заполненную бд созданную через sqlaclhemy и весь код, при необходимости подключу нейросети.
Уверен, что смогу реализовать ваши идеи и довести проект до успешного завершения.

Я был бы рад возможности обсудить ваш проект подробнее и ответить на любые ваши вопросы.

Alona Baryliuk

14 3

Проекты 14
Оценка 3.6
Рейтинг 1 288

Бюджет: 820 PLN Срок: 3 дня

Здравствуйте, ознакомилась с вашим заданием и я заинтересована в его реализации, хотела бы с вами сотрудничать. Приглашаю к личной встрече для более детального обсуждения.

Vadym Shrub

6 0

Проекты 6
Оценка 5.0
Рейтинг 1 324

Бюджет: 780 PLN Срок: 1 день

Добрый день, я готов взяться за ваш проект. У меня есть навыки с пайтоном.

Daniils Fjodorovs

2 0

Проекты -
Оценка -
Рейтинг 475

Бюджет: 900 PLN Срок: 6 дней

готов помочь вам

я думаю, возможно, вы можете использовать go вместо python

это выглядит лучше для этого случая использования

Наталія М.

6 3

Проекты 6
Оценка 4.4
Рейтинг 1 005

Бюджет: 799 PLN Срок: 11 дней

Добрый день, сделаю всё как скажете. Надеюсь на сотрудничество, пишите в личные сообщения!

Gayane M.

0 0

Проекты -
Оценка -
Рейтинг 162

Бюджет: 820 PLN Срок: 1 день

Здравствуйте.
С интересом ознакомилась с Вашим проектом. Уверена что смогу сделать эффективную и качественную работу соответствующее Вашим требованиям и ожиданиям. Опыт работы более 8 лет. Готова обсудить детали и приступить к работе. Жду Вашего ответа.

Виктор Сафронов

1 0

Проекты -
Оценка -
Рейтинг 292

Бюджет: 820 PLN Срок: 2 дня

Здравствуйте, имею большой опыт веб разработки. Готов сделать быстро и качественно.
Пишите в личные сообщения – обсудим детали

Ігор Доронін

9 0

Проекты 9
Оценка 5.0
Рейтинг 656

Бюджет: 1000 PLN Срок: 3 дня

Добрый вечер, Максимилиан! В целом задание понятно, для точного ответа по срокам и цене хотелось бы уточнить некоторые вопросы, которые у меня возникли после анализа вашего задания. Пишите в личные сообщения – обсудим детали и ваши пожелания.

Дмитро Ф.

25 0

Проекты 25
Оценка 5.0
Рейтинг 4 272

Бюджет: 4000 PLN Срок: 25 дней

Здравствуйте! Предлагаю реализовать на языке Go, разделить на спринты и начать с простого (отказаться на первых этапах от векторизации, чанков, повторных попыток), потому что так можно не завершить проект. Минимальная стартовая цена.

Dmytro Zmenkov

1 1

Проекты -
Оценка -
Рейтинг 121

Бюджет: 820 PLN Срок: 1 день

Здравствуйте! Готов выполнить этот проект большой опыт разработки различных приложений

Jeo Vincent C.

4 2

Проекты 4
Оценка 4.6
Рейтинг 12 784

Бюджет: 820 PLN Срок: 7 дней

Привет,
Я рад подать заявку на роль, связанную с асинхронным вводом документов и интеграцией Supabase. Имея глубокий опыт работы с Python (3.8+), aiohttp, asyncio и supabase-py, я могу предоставить надежный, масштабируемый ETL-пайплайн, адаптированный к вашим API и базам данных.

Ранее я создавал аналогичные системы для обработки документов с высоким объемом, включая пагинацию, пакетную обработку (1k–5k вставок), восстановление на основе контрольных точек и хранение метаданных JSONB в PostgreSQL. Я также понимаю важность разбивки и структурирования документов для будущего поиска на основе векторов и интеграции LLM.

Вы получите полностью документированное, готовое к производству решение — с полными скриптами схем, шаблонами .env, журналами и логикой повторных попыток — разработанное для простоты развертывания даже для недевелоперов.

С нетерпением жду возможности внести свой вклад в ваш проект.

С наилучшими пожеланиями,
Джо Винсент Карретас

Владислав Т.

35 1

Проекты 35
Оценка 4.2
Рейтинг 1 251

Бюджет: 888 PLN Срок: 2 дня

Здравствуйте, я тот кто вам нужен.
За плечами большой опыт веб разработки.
Пишите в лс обговорим работу.

Олексій В.

0 0

Проекты -
Оценка -
Рейтинг 342

Бюджет: 820 PLN Срок: 2 дня

Добрый день.

Готов выполнить вашу задачу быстро и качественно.

Преимущества:
- Простота использования.
- Бесплатная поддержка в течение 2 недель после выполнения заказа и исправления ошибок.
- Приступаю к работе в день принятия заказа и выполняю в кратчайшие сроки.

Буду рад сотрудничеству.

Oleh Ovchynnykov

52 1

Проекты 53
Оценка 4.4
Рейтинг 3 186

Бюджет: 820 PLN Срок: 1 день

Добрый день

пишите готов сделать вашу работу
Буду рад помочь с вашей задачей быстро и качественно

Maximilian D
Warszawa, Польша

Проектов 31
Конкурсов 1
Оценка 4.9
Рейтинг 1 102

Maximilian D

Illia Antipiev

Jakub Czajka

Костянтин Гринюк

Roman Z.

Illia Antipiev

Орест Х.

Ставки пока отсутствуют

Michael Yanislav

Alona Baryliuk

Vadym Shrub

Daniils Fjodorovs

Наталія М.

Gayane M.

Виктор Сафронов

Ігор Доронін

Дмитро Ф.

Dmytro Zmenkov

Jeo Vincent C.

Владислав Т.

Олексій В.

Oleh Ovchynnykov

Ставки скрыты

Актуальные фриланс-проекты в категории Python