Inteligentny system zbierania, przetwarzania i analizy treści informacyjnych z setek źródeł w czasie rzeczywistym. Agreguje wiadomości, przeprowadza analizę semantyczną treści, uwzględnia zachowania użytkowników (komentarze, reakcje społeczne) oraz generuje wnioski na temat trendów, anomalii i ogólnego nastroju.
Główne funkcje:
* Zbieranie wiadomości z RSS, API i stron internetowych za pomocą niestandardowych parserów,
* Analiza treści wiadomości: klasyfikacja tematów, wykrywanie słów kluczowych, określanie tonu (pozytywny, negatywny, neutralny),
* Interakcja z mediami społecznościowymi: uwzględnianie reakcji, komentarzy i rozpowszechnianie wiadomości,
* Wizualizacja dynamiki popularności tematów, wspomnień, emocji i wzorców zachowań,
* Wykrywanie nietypowych aktywności i anomalii w strumieniach wiadomości lub zachowaniach użytkowników.
Technologiczny stos:
* Python — przetwarzanie danych, NLP, wykrywanie anomalii,
* Node.js — obsługa zapytań, interfejsy API, praca z przepływami danych,
* MySQL — przechowywanie wiadomości, aktywności użytkowników i wyników analizy,
* RabbitMQ — asynchroniczna obsługa danych,
* Docker — konteneryzacja usług dla stabilnego wdrożenia,
* GitHub Actions — automatyzacja CI/CD, testowanie, budowa obrazów,
* OpenAI Platform — wykorzystanie modeli GPT do ulepszonej analizy treści i generowania ustrukturyzowanych danych.
Rola w projekcie:
Projekt "pod klucz" — jedyny full-stack deweloper. Architektura systemu, integracja modeli NLP, budowa pipeline'ów przetwarzania danych oraz automatyzacja CI/CD, dashboardy UI do wizualizacji wyników analizy.
#python #NodeJS #javascript #MySQL #rabbitmq #openai #nlp #ml #Parsowanie #bigdata
Główne funkcje:
* Zbieranie wiadomości z RSS, API i stron internetowych za pomocą niestandardowych parserów,
* Analiza treści wiadomości: klasyfikacja tematów, wykrywanie słów kluczowych, określanie tonu (pozytywny, negatywny, neutralny),
* Interakcja z mediami społecznościowymi: uwzględnianie reakcji, komentarzy i rozpowszechnianie wiadomości,
* Wizualizacja dynamiki popularności tematów, wspomnień, emocji i wzorców zachowań,
* Wykrywanie nietypowych aktywności i anomalii w strumieniach wiadomości lub zachowaniach użytkowników.
Technologiczny stos:
* Python — przetwarzanie danych, NLP, wykrywanie anomalii,
* Node.js — obsługa zapytań, interfejsy API, praca z przepływami danych,
* MySQL — przechowywanie wiadomości, aktywności użytkowników i wyników analizy,
* RabbitMQ — asynchroniczna obsługa danych,
* Docker — konteneryzacja usług dla stabilnego wdrożenia,
* GitHub Actions — automatyzacja CI/CD, testowanie, budowa obrazów,
* OpenAI Platform — wykorzystanie modeli GPT do ulepszonej analizy treści i generowania ustrukturyzowanych danych.
Rola w projekcie:
Projekt "pod klucz" — jedyny full-stack deweloper. Architektura systemu, integracja modeli NLP, budowa pipeline'ów przetwarzania danych oraz automatyzacja CI/CD, dashboardy UI do wizualizacji wyników analizy.
#python #NodeJS #javascript #MySQL #rabbitmq #openai #nlp #ml #Parsowanie #bigdata