Модуль DLE Парсинг новостей и Рерайт OpenAI

• Парсить данные с вебсайтов. ( Универсальный парсер ) 

• Генерирует тексты и изображения на основе заданных параметров.

• Автоматически публикует новости в выбранных категориях DLE.

• Настраивается через админ-панель и работает по расписанию (через CRON).

Функциональные требования

1. Основные настройки (дефолтные параметры)

   • Поле для указания общего промпта OpenAI   ( Манера письма данные об авторе, что промт писался в определенном стиле ) (используется для генерации текстов для всех категорий по умолчанию, как дополнение к индивидуальному  промпту).

   • Настройки версии модели OpenAI (например, GPT-4 или GPT-3.5).

2. **Раздел Категории

   • Возможность выбора одной или нескольких категорий DLE для парсинга данных.

   • Для каждой категории настраивается:

     • Промт для генерации текста (индивидуальный для каждой категории).

     • Промт для генерации изображений (используется для создания 2-4 изображений на одну новость).

     • Лимиты для парсинга (количество новостей за один запуск: от 1 до 5).

     • Ссылки на источники для парсинга (возможность добавить несколько URL).

     • Настройки парсера из источника,  теги из которых брать заголовок, теги из которых брать текст новости  ( для универсальности парсера и возможности парсить с любого ресурса )

3. Функционал парсинга

   • Сохранение списка заголовков новостей в базе, чтобы избежать дублирования.

   • Парсинг включает:

     • Заголовок новости.

     • Краткий текст новости.

   • Проверка новых материалов каждого запуска (сравнение заголовков с базой).

4. Генерация контента через OpenAI

   • После парсинга новость обрабатывается через API OpenAI:

     • Генерируется полный текст новости на основе промпта, привязанного к категории.

     • Генерируются 2-4 изображения на основе промпта для категории.

5. Автоматическое постинг

   • Сгенерированные новости автоматически добавляются в выбранную категорию DLE.

   • Возможность редактирования сгенерированных материалов перед публикацией (опционально).

6. Админ-панель модуля

   • Интерфейс для:

     • Добавления/редактирования категорий.

     • Добавления/редактирования источников парсинга.

     • Указания промптов для текстов и изображений.

     • Выбора версии модели OpenAI.

   • Отображение истории парсинга (какие заголовки были обработаны).

   • Настройка периодичности работы через CRON (напр., каждые 15 мин, 1 час и т.д.).

7. Работа по CRON

   • Модуль выполняет следующие задачи по расписанию:

     • Проверка новых материалов на источниках парсинга.

     • Генерация текстов и изображений через OpenAI.

     • Автоматическое добавление сгенерированных новостей в соответствующие категории.