Модуль DLE Парсинг новин і Рерайт OpenAI

• Парсить дані з вебсайтів. ( Універсальний парсер ) 

• Генерує тексти та зображення на основі заданих параметрів.

• Автоматично публікує новини у вибраних категоріях DLE.

• Налаштовується через адмін-панель та працює за розкладом (через CRON).

Функціональні вимоги

1. Основні налаштування (дефолтні параметри)

   • Поле для вказівки загального промпту OpenAI   ( Манера письма данні про автора, щолб промт писався в певному стилі ) (використовується для генерації текстів для всіх категорій за замовчуванням, як доповнення до індивідуального  промпту).

   • Налаштування версії моделі OpenAI (наприклад, GPT-4 або GPT-3.5).

2. **Розділ Категорії

   • Можливість вибору однієї чи кількох категорій DLE для парсингу даних.

   • Для кожної категорії налаштовується:

     • Промт для генерації тексту (індивідуальний для кожної категорії).

     • Промт для генерації зображень (використовується для створення 2-4 зображень на одну новину).

     • Ліміти для парсингу (кількість новин за один запуск: від 1 до 5).

     • Посилання на джерела для парсингу (можливість додати кілька URL).

     • Налаштування парсера з джерела,  теги з яких брати заголовок, теги з яких брати текст новини  ( для універсальності парсера і можливости парсити з будь якого ресурсу )

3. Функціонал парсингу

   • Збереження списку заголовків новин у базі, щоб уникнути дублювання.

   • Парсинг включає:

     • Заголовок новини.

     • Короткий текст новини.

   • Перевірка нових матеріалів кожного запуску (порівняння заголовків з базою).

4. Генерація контенту через OpenAI

   • Після парсингу новина обробляється через API OpenAI:

     • Генерується повний текст новини на основі промпту, прив'язаного до категорії.

     • Генеруються 2-4 зображення на основі промпту для категорії.

5. Автоматичне постинг

   • Згенеровані новини автоматично додаються до вибраної категорії DLE.

   • Можливість редагування згенерованих матеріалів перед публікацією (опціонально).

6. Адмін-панель модуля

   • Інтерфейс для:

     • Додавання/редагування категорій.

     • Додавання/редагування джерел парсингу.

     • Вказання промптів для текстів і зображень.

     • Вибору версії моделі OpenAI.

   • Відображення історії парсингу (які заголовки було оброблено).

   • Налаштування періодичності роботи через CRON (напр., кожні 15 хв, 1 год, тощо).

7. Робота за CRON

   • Модуль виконує наступні завдання за розкладом:

     • Перевірка нових матеріалів на джерелах парсингу.

     • Генерація текстів та зображень через OpenAI.

     • Автоматичне додавання згенерованих новин у відповідні категорії.