Система анализа трендов новостей и выявления аномалий

Интеллектуальная система сбора, обработки и анализа новостного контента из сотен источников в режиме реального времени. Агрегирует новости, проводит семантический анализ содержания, учитывает поведение пользователей (комментарии, социальные реакции) и генерирует инсайты о трендах, аномалиях и общем настроении.

Основные функции:
* Сбор новостей из RSS, API и веб-сайтов с помощью кастомных парсеров,
* Анализ содержания новостей: классификация тем, выявление ключевых слов, определение тона (позитивный, негативный, нейтральный),
* Взаимодействие с соцсетями: учет реакций, комментариев и распространения новостей,
* Визуализация динамики популярности тем, упоминаний, эмоций и поведенческих шаблонов,
* Обнаружение нетипичных активностей и аномалий в потоках новостей или поведении пользователей.

Технологический стек:
* Python — обработка данных, NLP-анализ, выявление аномалий,
* Node.js — обработка запросов, API-интерфейсы, работа с потоками данных,
* MySQL — хранение новостей, пользовательской активности и результатов анализа,
* RabbitMQ — асинхронная обработка данных,
* Docker — контейнеризация сервисов для стабильного деплоймента,
* GitHub Actions — автоматизация CI/CD, тестирование, сборка образов,
* OpenAI Platform — использование GPT-моделей для улучшенного контент-анализа и генерации структурированных данных.

Роль в проекте:
Проект "под ключ" — единственный full-stack разработчик. Архитектура системы, интеграция NLP моделей, построение пайплайнов обработки данных и автоматизация CI/CD, UI дашборды для визуализации результатов анализа.

#python #NodeJS #javascript #MySQL #rabbitmq #openai #nlp #ml #Парсинг #bigdata