Mutacja i migracja treści z wykorzystaniem AI
AI i uczenie maszynowe
Wyobraź sobie: przed tobą stoi zadanie przeniesienia dziesiątek blogów z CMS-1 do nowego systemu CMS-2. Ale to nie jest tylko kopiowanie — treść trzeba jeszcze dostosować, zmienić zgodnie z wymaganiami nowej platformy, i wszystko to za pomocą sztucznej inteligencji.
Podstawowym warunkiem klienta była pełna poufność danych, dlatego opracowałem rozwiązanie, które obyło się bez zewnętrznych usług.
Pierwsza część projektu polegała na opracowaniu mikrousługi, która poprzez API współdziałała z CMS-1, wyciągając wszystkie dostępne posty wraz z ich początkową strukturą — nagłówki, tekst, obrazy, metadane. Ta treść była przechowywana w MongoDB jako baza danych zorientowana na dokumenty, co pozwoliło zachować oryginalne dane bez utraty struktury.
Następny krok — opracowanie mikrousługi, która łączyła się z bazą danych MongoDB, pobierała zapisane posty i przekazywała je do przetworzenia lokalnemu modelowi Llama3.1. Ten model wykonywał mutację treści: przepisywał teksty, zmieniał formatowanie i dostosowywał je zgodnie z wymaganiami klienta i specyfikacjami CMS-2. Wyniki tego przetwarzania również były przechowywane w nowej kolekcji MongoDB.
Trzeci etap — mikrousługa do przenoszenia przetworzonej treści do CMS-2. Pobierała zmienione dane z bazy, transformowała je do formatu zgodnego z CMS-2 i przekazywała za pomocą API. Takie podejście pozwoliło zachować integralność treści i bez problemu zintegrować ją w nowym systemie.
Proces zajął około 111 godzin — tak, to dłużej niż korzystanie z publicznych modeli AI, ale dzięki lokalnemu modelowi całkowicie zachowaliśmy prywatność danych.
Główne cechy projektu:
- 15 milionów tokenów inferencji
- Szybkość przetwarzania: 35-50 tokenów na sekundę
- Stos: C#, .Net Core, MongoDB, Llama3.1
#dot.net #Llama3.1 #PrywatnośćDanych #Mikrousługi #mongodb
Podstawowym warunkiem klienta była pełna poufność danych, dlatego opracowałem rozwiązanie, które obyło się bez zewnętrznych usług.
Pierwsza część projektu polegała na opracowaniu mikrousługi, która poprzez API współdziałała z CMS-1, wyciągając wszystkie dostępne posty wraz z ich początkową strukturą — nagłówki, tekst, obrazy, metadane. Ta treść była przechowywana w MongoDB jako baza danych zorientowana na dokumenty, co pozwoliło zachować oryginalne dane bez utraty struktury.
Następny krok — opracowanie mikrousługi, która łączyła się z bazą danych MongoDB, pobierała zapisane posty i przekazywała je do przetworzenia lokalnemu modelowi Llama3.1. Ten model wykonywał mutację treści: przepisywał teksty, zmieniał formatowanie i dostosowywał je zgodnie z wymaganiami klienta i specyfikacjami CMS-2. Wyniki tego przetwarzania również były przechowywane w nowej kolekcji MongoDB.
Trzeci etap — mikrousługa do przenoszenia przetworzonej treści do CMS-2. Pobierała zmienione dane z bazy, transformowała je do formatu zgodnego z CMS-2 i przekazywała za pomocą API. Takie podejście pozwoliło zachować integralność treści i bez problemu zintegrować ją w nowym systemie.
Proces zajął około 111 godzin — tak, to dłużej niż korzystanie z publicznych modeli AI, ale dzięki lokalnemu modelowi całkowicie zachowaliśmy prywatność danych.
Główne cechy projektu:
- 15 milionów tokenów inferencji
- Szybkość przetwarzania: 35-50 tokenów na sekundę
- Stos: C#, .Net Core, MongoDB, Llama3.1
#dot.net #Llama3.1 #PrywatnośćDanych #Mikrousługi #mongodb