Мутація й міграція контенту з використанням ШІ

Уявіть собі: перед вами постала задача перенести десятки блогів з ЦМС-1 у нову систему ЦМС-2. Але це не просто копіювання — контент потрібно ще адаптувати, змінити під вимоги нової платформи, і все це за допомогою штучного інтелекту.
Основною умовою клієнта була повна конфіденційність даних, тому я розробив рішення, яке обійшлося без сторонніх сервісів.

Перша частина проєкту полягала в розробці мікросервісу, який через API взаємодіяв із ЦМС-1, витягуючи всі наявні пости разом з їхньою початковою структурою — заголовки, текст, зображення, метадані. Цей контент зберігався в MongoDB як документно-орієнтована база, що дозволило зберегти оригінальні дані без втрати структури.

Наступний крок — розробка мікросервісу, який підключався до бази даних MongoDB, брав збережені пости й передавав їх на обробку локальній моделі Llama3.1. Ця модель виконувала мутацію контенту: переписувала тексти, змінювала форматування та адаптувала його відповідно до вимог клієнта і специфікацій ЦМС-2. Результати цієї обробки також зберігались у новій колекції MongoDB.

Третій етап — мікросервіс для переносу обробленого контенту до ЦМС-2. Він діставав змінені дані з бази, трансформував їх у формат, сумісний із ЦМС-2, і передавав за допомогою API. Такий підхід дозволив зберегти цілісність контенту й без проблем інтегрувати його в нову систему.

Процес зайняв приблизно 111 годин — так, це довше, ніж використання публічних ШІ моделей, але завдяки локальній моделі ми повністю зберегли приватність даних.

Основні характеристики проєкту:
- 15 мільйонів токенів інференсу
- Швидкість обробки: 35-50 токенів на секунду
- Стек: C#, .Net Core, MongoDB, Llama3.1

#dot.net #Llama3.1 #ПриватністьДаних #Мікросервіси #mongodb