Нужен бэкенд-разработчик для агрегатора данных (API & CSV) – долгосрочное сотрудничество
🚀 Описание проекта:
Ищу бэкенд-разработчика для долгосрочного сотрудничества, который поможет создавать и поддерживать системы сбора и проверки данных. Первый проект предполагает разработку серверного решения для сбора и обработки информации о компаниях по VAT-номеру из различных публичных и частных API (например, VIES и национальные сервисы), а также через загрузку CSV-файлов.
📌 Основные требования:
- Интеграция API: Получение данных из публичных и частных API (предоставлю тестовые данные).
- Обработка CSV: Загрузка данных в базу и поддержка периодического обновления.
- Обработка данных в реальном времени: Анализ API-ответов по заданным критериям.
- Логирование всех операций: Сохранение запросов, ответов, ошибок, результатов анализа и вывода пользователю.
- Гибкая система проверки: Возможность настраивать правила валидации ответов API.
- Минимальный тестовый интерфейс: Простой UI для тестирования API-запросов (полноценный фронтенд пока не нужен).
- Оптимальное обновление данных: Нужна рекомендация по лучшему подходу.
📌 Технологический стек:
- Открыт к предложениям по лучшему стеку.
- Решение должно быть масштабируемым, эффективным и надежным для работы с большим объемом данных.
🎯 Кого я ищу:
- Разработчика для долгосрочного сотрудничества, который будет работать над похожими проектами.
- Опыт в интеграции API, обработке и логировании данных.
- Умение работать с CSV и оптимизировать базу данных.
- Способность предложить и реализовать лучшую бэкенд-архитектуру.
- Знание систем проверки VAT и реестров компаний (будет плюсом).
💰 Бюджет и сроки:
- Обсуждаются в зависимости от вашей экспертизы и предложенного решения.
📩 В заявке укажите:
- Ваш опыт в интеграции API и работе с CSV.
- Какой технологический стек рекомендуете и почему.
- Есть ли у вас похожие проекты в портфолио.
- Оценку сроков выполнения.
- Готовы ли вы к постоянному сотрудничеству над похожими проектами.
Жду заявок и буду рад сотрудничать с опытным разработчиком! 🚀
-
1 день700 UAH
1 день700 UAH
Привет! Я project manager компании Дзенкод.
Есть опыт разработки веб-сервисов, CRM-систем и программ различной сложности.
Разрабатываем с нуля и дорабатываем уже существующие.
Мы используем две стратегии организации работы над проектами – Аутсорс и Аутстафф.
Более 8 лет опыта. В команде есть необходимая экспертиза для выполнения таких задач.
Также пишем и интегрируем API, внедряем платежные системы.
… Готовы предложить Вам нашего разработчика на аутстафф.
Наш рейт: от 15 USD/час.
Минимальный заказ 1 рабочий день-8ч, минимальная цена 120 USD.
Мы можем обсудить Ваш проект в чате?
Можем работать с безопасной сделки на бирже.
С уважением, менеджер dZENcode.
-
10 дней6000 UAH
283 10 дней6000 UAH
Добрый день! 👋
У меня есть опыт работы с интеграцией API и обработкой CSV-файлов.
Один из проектов — система сбора и обработки CSV-файлов с сайта с последующей обработкой и поиском по базе.
Рекомендую использовать стек Python (FastAPI), PostgreSQL для хранения данных, Celery для фонового обновления и логирования, что обеспечивает масштабируемость и стабильность.
Готов к долгосрочному сотрудничеству, быстро адаптируюсь под требования, готов обсудить детали и предложить оптимальное решение. 🚀
-
30 дней27 000 UAH
128 30 дней27 000 UAH
Добрый день!
Заинтересовал ваш проект — имею опыт в интеграции API.
Опыт:
✔ Интеграция API.
✔ Обработка CSV (импорт, обновление, валидация).
✔ Логирование и кэширование (Serilog, Redis).
…
Предлагаемый стек (.NET Core):
🔹 ASP.NET Core (Web API) + Entity Framework Core
🔹 SQL Server / PostgreSQL
🔹 Redis (кэширование), Hangfire (фоновая задача)
🔹 Docker для масштабирования
⏳ Оценка сроков: 3 недели на первую версию.
Жду обратной связи! 🚀
-
11 дней27 000 UAH
3880 15 0 11 дней27 000 UAH
Добрый день!
Я — фуллстек-разработчик с опытом 15 лет.
Готов присоединиться к вашему проекту и поддерживать подобные решения в долгосрочной перспективе.
1. Имею большой опыт интеграции различных API, желательно при наличии документации. Работал с парсингом данных, генерацией и обработкой CSV-файлов, в частности для импорта товаров.
2. Для этой задачи отлично подойдет Node.js + MongoDB:
…
MongoDB позволяет удобно хранить JSON-структуры, особенно при работе с неструктурированными или изменяющимися API-ответами.
При необходимости можно легко интегрировать реляционную БД — есть опыт и с такими.
3. Когда-то создавал систему сбора данных и поддержки ее в актуальном состоянии с БД доменных имен, с последующим использованием этих данных во внутренних процессах. (отзыв: https://freelancehunt.com/project/parser-na-node-js/634091.html)
4. Без детального технического задания трудно оценить точно, но предварительно — от 1 до 2 месяцев на реализацию первой версии.
5. Я заинтересован в долгосрочном партнерстве.
P.S. могу отправить свое резюме по запросу.
-
2 дня1000 UAH
674 24 0 2 дня1000 UAH
Добрый день, Артем
Опыт есть, к постоянной работе готов
Давайте обсудим детали, после этого смогу вас сориентировать более конкретно и по срокам, и по цене, и по техническому стеку с архитектурой
Напишите мне в лс
С уважением, Александр
-
1 день1000 UAH
95670 1272 1 10 1 день1000 UAH
Здравствуйте. У меня большой опыт работы с Node.js, также я много работал с различными API, и также много раз работал над задачами, где нужно было парсить CSV. Готов к сотрудничеству
-
30 дней27 000 UAH
326 1 0 30 дней27 000 UAH
Привет, это типичная задача парсинга и etl. Решений может быть много и лучше уже подбирать под потребности, выгодно использовать популярные фреймворки, так будет легко поддерживать проект. Например - для оркестрации задач - airflow(популярный фреймворк, легко будет поддерживать, легко найти исполнителей) для парсинга - scrapy (популярный фреймворк, легко будет поддерживать, легко найти исполнителей). Такое решение очень легко масштабируется - docker/swarm, k8s/k3s. Но такой подход для большого проекта. Возможно для начала лучше celery/redis + fastapi, как уже было предложено
-
14 дней1000 UAH
682 6 0 14 дней1000 UAH
хорошая задача., будет интересно работать.
имею опыт в построении подобных систем, смогу показать в частном общении.
думаю, нужно использовать простой стек:
* FastApi
* Celery + Redis
* Postgress DB
оценку сроков невозможно выполнить по этой постановке задачи, потому что мало конкретики, но думаю, через две-три недели будет основной каркас бэка
-
21 день27 000 UAH
3003 60 0 21 день27 000 UAH
Артем, привет,
Я работал над подобными проектами, где интегрировал API для сбора и обработки данных из различных источников, а также работал с CSV-файлами для их обработки и обновления в базах данных. Есть кейс разработки системы для обработки финансовых данных, где была интеграция с API, а также обработка больших массивов данных с загрузкой в бд.
Моя рекомендация — использовать контейнеризацию Docker, чтобы обеспечить масштабируемость и легкость в развертывании решения в различных средах. Что касается тестирования API-запросов, можно реализовать простой UI для проверки запросов, что даст гибкость без излишней сложности.
Что касается сроков — начальный прототип можно разработать +- за несколько недель, но для более сложных функций и интеграций может понадобиться дополнительное время. Если вы ищете постоянное сотрудничество, я готов работать над подобными проектами.
Напишите, если хотите обсудить детали, бюджет и сроки. Могу предложить несколько вариантов технологий для вашего проекта, в зависимости от требований.
-
1 день1111 UAH
631 5 0 1 день1111 UAH
Добрый день
постараюсь помочь, обращайтесь
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
-
Гнучка система перевірки: Можливість налаштовувати правила валідації відповідей API. - які валідації повинні відбуватись? У вас є приклад таких правил? Великий обсяг даних - це скільки? Як часто повинна проводитись перевірка данних з джерел? Робив недавно подібну систему: Багато парсерів які запускались по своєму розкладу (брали інфу по API або простий парсинг сторінок, одразу робилась перевірка чи запис новий чи вже був оброблений (окрема база sqlite для кожного парсера)), перетворення данних в узагальнену структуру данних, відправка на окремий сервіс (FastAPI), де дані оброблялись далі і зберігались в Postgresql. Проксі, аккаунти сервісів з данними (де потрібно) надаєте?
-
Ви для початку уточніть , csv файли це не від ДІЇ будуть ? і запитайте заявників як вони збираються через АПІ обробляти csv в кілька гігабайт і 80% зникнуть )
-
Актуальные фриланс-проекты в категории Python
Построить модель классификации клиентов1. Есть данные клиентов в Mongo/SQL (примерно 20 000 записей с сырыми данными). 2. Необходимо на их основе построить фичи и модель классификации клиентов на поведенческие группы. 3. Проект выполнить на Python. AI и машинное обучение, Python ∙ 6 часов 43 минуты назад ∙ 15 ставок |
ИТ Автоматизация ведения VAT-отчетности
10 000 UAH
Необходимо разработать систему для автоматизации переноса данных о продажах из CRM в бухгалтерскую систему Wafeq. Система должна импортировать банковские и платежные отчеты, автоматически сверять платежи с инвойсами, формировать инвойсы для VAT-отчетности и минимизировать ручную… AI и машинное обучение, Python ∙ 12 часов 8 минут назад ∙ 28 ставок |
Обслуживание софта
5000 UAH
Необходимо внести правки в софт и его обслуживать в дальнейшем, софт делает заказы по заданным параметрам и отправляет их в телеграм бот Python, Разработка ботов ∙ 12 часов 57 минут назад ∙ 50 ставок |
Инструмент сверки счетов с банком, картами и бухгалтеромТехническое задание: инструмент сверки счетов с банком, картами и бухгалтеромОбщая цель Нужен локальный инструмент (скрипт/небольшое приложение на Python), который запускается вручную раз в 1-2 месяца на моём компьютере и делает сверку между: Счетами, которые я выставил клиентам… Python, Десктопные приложения ∙ 1 день назад ∙ 34 ставки |
Автоматическая публикация видео в социальные сети по расписаниюТехническое задание (ТЗ) Автоматическая публикация видео в социальные сети по расписаниюОписание проекта Нужен скрипт/бот (Python предпочтительно, либо любое другое решение на ваш выбор — главное стабильность и простота поддержки), который автоматически публикует видео из папки… Python, Разработка ботов ∙ 1 день 12 часов назад ∙ 54 ставки |
Киев