Automatyczna Generacja Danych SFT dla LLM

Opracowałem skrypt do przetwarzania niestandardowego zestawu danych tekstowych (~400 rekordów) z wykorzystaniem uproszczonego modelu językowego. Stworzyłem rozwiązanie uruchamiane w Google Colab, do automatycznego generowania nowego zestawu danych CSV w formacie „pytanie-odpowiedź” na podstawie danych źródłowych do dalszego szkolenia LLM.
System jest w stanie analizować każdy nowy kontekst, formułować odpowiednie pytania i odpowiedzi w czasie rzeczywistym oraz efektywnie pracować z dużymi zbiorami danych.