StreamSets DataCollector или NIFI
1450 UAHЛаба:
2) Выбираем стриминг данных (например тут: https://www.pubnub.com/developers/realtime-data-streams/ или свой вариант)
3) Инсталлим SDC (StreamSets DataCollector) или NiFi (кто хочет свой вариант, возмжно свой. SDC и NiFi замечательно устанавливается через Docker.
4) Настраиваем пайплайн по обработке данных по своему усмотрению. Главное чтоб было:
- прием информации из сорса (прямо с сервиса или из Kafka)
- валидация получаемых сообщений (например: имя не должно превышать 16 символов, иначе обезаем строку с именем до 16 символов)
- Обработка полей (например, в стриминге Вы получаете 2 отдельных поля: имя и фамилия, в обработке Вы делаете одно отдельное поле fullname.
- Условие выбора (например, если Вы встречаете имя { name }, то выполняете определенные дествия (например, отправляете сообщение в Телеграм.
- Положить обработанные данные в БД (можно выбрать любую, но я очень рекомендую отзнакомиться с Druid хотя бы чтоб разобраться).
Каждая работа заканчивается презентацией того, что выполнялось командой и отчетом по проделанной работе.
Содержимое отчета:
- Заглавная страничка с названием темы и списком команды
- Постановка задачи
- Подход к решению (откуда берутся данные, какие технологии выбрали для решения и тд)
- Описание решения
- Выводы
Также к лабораторке прилагается код + экспорт файл ил SDC/NiFi.
Внимание! Отчеты печатать не нужно, достаточно DOCX/PDF
ТОЛЬКО StreamSets DataCollector или NiFi. Не своя разработка
Отзыв заказчика о сотрудничестве с Dmytro Ohorodnik
StreamSets DataCollector или NIFIРабота была выполнена в срок. Исполнитель всегда на связи. Рекомендую.
Отзыв фрилансера о сотрудничестве с Мариной Шшшшш
StreamSets DataCollector или NIFIИдеальный заказчик. Никаких нареканий.
-
Победившая ставка7 дней1450 UAH
1125 43 0 1 Победившая ставка7 дней1450 UAH
Здравствуйте. Предлагаю решение на Python3, с последующим препроцессингом данных и их сохранением. Если базу данных можно выбрать любую, то лучше использовать PostgreSQL или MySQL. Код сделаю с комментариями, отчёт по реализации парсера также напишу. С удовольствием возьмусь за исполнение.
-
3 дня1500 UAH
2233 82 0 3 дня1500 UAH
Добрый день,
Предлагаю такое решение лабораторной: парсим данные из любого источника (например по API) и скрипт на Python 3 препроцессит данные и заполняет БД. Есть подобное рабочее решение - могу переписать под Ваши нужды.
Соответственно опишу весь процесс в отчете.
Рассмотрю и Ваш вариант решения, заинтересован в сотрудничестве.
Буду рад Вам помочь!
Актуальные фриланс-проекты в категории Python
Розработка Тик-Ток фермы (контент-завод)
1000 UAH
Необзодимо разработать систему для централизованного управления несколькими TikTok-аккаунтами с автоматической публикацией контента, использованием индивидуальных прокси и имитацией естественной активности аккаунтов. Функциональные требования1. Управление аккаунтами Добавление… Python, Разработка ботов ∙ 9 часов 40 минут назад ∙ 11 ставок |
Улучшить работу Claude Code и работа с написанием софтаСейчас разрабатываю СРМ и Аналитику, софт. Делаю через Клод Код, но понимаю что результаты не лучшие в плане изменений. Есть 2 задачи - Нужно помочь сделать пресет по навыкам, мд и так далее чтобы улучшить качество. Взять проверенные с которыми работали, а не с интернета… AI и машинное обучение, Python ∙ 16 часов 14 минут назад ∙ 21 ставка |
Система OCRНужна система распознавания текста на почтовых конвертах (индекс кому - только числа). Текст иногда может быть рукописным. Распознавание марок (подсчет количества и номинала) Python ∙ 19 часов 25 минут назад ∙ 20 ставок |
Ищу White-label решение Букмекерской конторы под аренду |
Создание Human AI Assistant для Telegram-групп### 1.1. Ключевая концепция системы Система должна выполнять две основные функции: #### 1. Анализ клиентской коммуникации AI-ассистент должен автоматически анализировать всю коммуникацию в Telegram-группах и понимать контекст общения. В частности, система должна: -… AI и машинное обучение, Python ∙ 2 дня 7 часов назад ∙ 40 ставок |
Киев