Kafka, FastAPI, Bot Telegram i Pracownik Celery

Opis projektu

Projekt został opracowany dla klienta z branży cyberbezpieczeństwa, mając na celu automatyzację zbierania danych OSINT (Inteligencja z otwartych źródeł). System wykorzystuje Kafka do obsługi wiadomości, FastAPI do budowy backendowego API, Celery do zarządzania zadaniami w tle oraz bota Telegram do interakcji z użytkownikami.

Cel klienta:
Klient chciał zautomatyzowanego systemu, który mógłby pobierać dane OSINT za pomocą Shodan i zewnętrznych botów, przetwarzać te informacje asynchronicznie i dostarczać wyniki użytkownikom za pośrednictwem bota Telegram. Wyzwanie polegało na integracji wielu usług i zapewnieniu płynnej komunikacji w całym systemie.

Wyzwania:
Zapewnienie niezawodnej wymiany wiadomości między usługami za pomocą Kafka.
Konfiguracja pracowników Celery do asynchronicznego przetwarzania danych.

Rozwiązanie:
Zaprojektowałem skalowalne rozwiązanie, w którym Kafka ułatwia komunikację między serwerem FastAPI, pracownikami Celery i botem Telegram. System efektywnie obsługuje żądania, pobiera dane z Shodan, przetwarza je w tle i wysyła wyniki z powrotem do użytkowników w czasie rzeczywistym. Dzięki wykorzystaniu Celery mogłem zapewnić, że wszystkie zadania w tle (takie jak pobieranie i przetwarzanie danych) działają płynnie, nie blokując głównego API, co poprawiło doświadczenie użytkownika.

Repozytorium GitHub: https://github.com/MLokatsiun/qos_bot.git
https://github.com/MLokatsiun/qOs_API.git